Relatório de amostra de testes instáveis

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Conforme mostrado na imagem a seguir, você pode criar um relatório que lista os testes instáveis que ocorrem em execuções de pipeline que incluem tarefas de teste. Um teste flutuante é um teste que fornece resultados diferentes, como passar ou falhar, mesmo quando não há alterações no código-fonte ou no ambiente de execução. Para obter mais informações sobre como habilitar testes instáveis, consulte Gerenciar testes instáveis. Para obter informações sobre como adicionar testes a um pipeline, consulte a seção Recursos da tarefa de teste mais adiante neste artigo.

Captura de tela do relatório da tabela de testes instáveis.

Use as consultas fornecidas neste artigo para gerar os seguintes relatórios:

  • Testes do Flaky para fluxo de trabalho de build
  • Testes instáveis para fluxo de trabalho de lançamento
  • Testes instáveis para uma ramificação específica
  • Testes do Flaky para um arquivo de teste específico
  • Testes instáveis para determinado proprietário de teste.

Observação

As consultas de exemplo neste artigo exigem versão prévia v3.0 ou posterior do feed OData do Analytics. Compartilhe seus comentários.

Categoria Requirements
Níveis de acesso - Membro do projeto.
- Pelo menos acesso básico .
Permissões Por padrão, os membros do projeto têm permissão para consultar o Analytics e criar visualizações. Para obter mais informações sobre outros pré-requisitos relacionados à ativação de serviços e recursos e atividades gerais de rastreamento de dados, consulte Permissões e pré-requisitos para acessar o Analytics.

Observação

Este artigo pressupõe que você tenha lido Visão geral de relatórios de exemplo usando consultas OData e tenha uma compreensão básica de Power BI.

Consultas de exemplo

Você pode usar as consultas a seguir do conjunto de entidades TestResultsDaily para criar relatórios diferentes de teste instável de pipeline com algumas semelhanças. O conjunto de entidades TestResultsDaily fornece um agregado de instantâneo diário de execuções de TestResult, agrupado por teste.

Observação

Para localizar as propriedades disponíveis para filtragem ou relatório, consulte a referência Metadata para Análise de Planos de Teste e referência Metadata para Azure Pipelines. Você pode filtrar consultas ou retornar propriedades usando qualquer valor Property definido em um EntityType ou qualquer valor NavigationPropertyBinding Path listado para um EntitySet. Cada EntitySet mapeia um EntityType, que documenta o tipo de dados de cada propriedade.

Testes instáveis para um fluxo de trabalho Build

Use as consultas a seguir para exibir os testes instáveis para um pipeline de fluxo de trabalho Build.

Copie e cole a consulta Power BI a seguir diretamente na janela Get Data>Blank Query. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes instáveis para o fluxo de trabalho de liberação

Use as consultas a seguir para exibir os testes instáveis para um pipeline de fluxo de trabalho Release.

Copie e cole a consulta Power BI a seguir diretamente na janela Get Data>Blank Query. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes instáveis filtrados por ramificação

Para exibir os testes instáveis de um pipeline para uma ramificação específica, use as consultas a seguir. Para criar o relatório, execute as etapas extras a seguir, juntamente com o que é especificado posteriormente neste artigo.

  • Expanda Branch para Branch.BranchName.
  • Selecione Segmentação de Visualização do Power BI e adicione o campo Branch.BranchName ao Campo da segmentação.
  • Selecione o nome da ramificação na segmentação para ver o resumo do resultado.

Para obter mais informações sobre como usar segmentações de dados, consulte Slicers no Power BI.

Copie e cole a consulta Power BI a seguir diretamente na janela Get Data>Blank Query. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes do Flaky filtrados por arquivo de teste

Para exibir os testes instáveis de um pipeline e um arquivo de teste específico, use as consultas a seguir. Para criar o relatório, execute as etapas extras a seguir, juntamente com o que é definido posteriormente neste artigo.

  • Expanda Test para Test.ContainerName.
  • Selecione Segmentação de Visualização do Power BI e adicione o campo Test.ContainerName ao Campo da segmentação.
  • Selecione o nome do contêiner na segmentação para ver o resumo do resultado.

Copie e cole a consulta Power BI a seguir diretamente na janela Get Data>Blank Query. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes instáveis filtrados pelo responsável pelo teste

Para exibir os testes instáveis de um pipeline e os testes pertencentes a determinado proprietário, use as consultas a seguir. Para criar o relatório, execute as etapas extras a seguir, juntamente com o que é definido posteriormente neste artigo.

  • Expanda Test para Test.TestOwner.
  • Selecione Segmentação de Visualização do Power BI e adicione o campo Test.TestOwner ao Campo da segmentação.
  • Selecione o proprietário do teste na segmentação para ver o resumo dos resultados.

Copie e cole a consulta Power BI a seguir diretamente na janela Get Data>Blank Query. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Cadeias de caracteres de substituição e detalhamento de consulta

Substitua as cadeias de caracteres a seguir por seus valores. Não inclua as chaves {} na substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua {organization} por Fabrikam, não {Fabrikam}.

 

  • {organization} - O nome da sua organização.
  • {project} - Nome do seu projeto de equipe.
  • {pipelinename} - Nome do pipeline. Exemplo: Fabrikam hourly build pipeline
  • {startdate} - A data para iniciar seu relatório. Formato: AAAA-MM-DDZ. Exemplo: 2021-09-01Z representa 1º de setembro de 2021. Não coloque entre aspas ou colchetes e use dois dígitos para mês e data.

Detalhamento da consulta

A tabela a seguir descreve cada parte da consulta.

Parte da consulta

Descrição

$apply=filter(

Iniciar cláusula filter().

Pipeline/PipelineName eq '{pipelineName}'

Retorne execuções de teste para o pipeline especificado.

and CompletedOn/Date ge {startdate}

O teste de retorno é executado na data especificada ou após ela.

and Workflow eq 'Build'

Retorne execuções de teste para um Build fluxo de trabalho.

)

Fechar cláusula filter().

/groupby(

Iniciar cláusula groupby().

(TestSK, Test/TestName),

Agrupe pelo nome do teste.

aggregate(

Inicie a cláusula aggregate para calcular as execuções de teste que atendem aos critérios do filtro.

ResultCount with sum as TotalCount,

Conte o número total de execuções de teste como TotalCount.

ResultPassCount with sum as PassedCount,

Conte o número total de execuções de teste passadas como PassedCount.

ResultFailCount with sum as FailedCount,

Conte o número total de execuções de teste com falha como FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Conte o número total de execuções de teste não executadas como NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Conte o número total de execuções de teste não afetadas como NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Conte o número total de execuções de testes instáveis como FlakyCount.

))

Fechar cláusulas aggregate() e groupby().

/filter(FlakyCount gt 0)

Filtre apenas os testes que ficaram instáveis pelo menos uma vez.

/compute(

Iniciar cláusula compute().

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Para todos os testes instáveis, calcule o FlakyRate.

)

Fechar cláusula compute().

(Opcional) Renomear consulta

Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Insira um novo nome no painel Configurações de Consulta .

Screenshot das opções de menu de consulta do Power BI, opção para renomear a consulta.

Expandir a coluna Teste no Power BI

Expanda a coluna Test para mostrar a entidade Test.TestName expandida. Expandir a coluna nivela o registro em campos específicos. Para saber como fazer, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Expandir colunas.

Alterar o tipo de dados da coluna

  1. Em Editor do Power Query, selecione as colunas TotalCount, PassedCount, FailedCount, NotExecutedCount, NotImpactedCount e FlakyCount. Selecione Tipo de Dados no menu Transformar e escolha Número Inteiro.

  2. Selecione a coluna FlakyRate. Selecione Tipo de Dados no menu Transformar e escolha Número Decimal.

Para obter mais informações sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios Power BI, Transformar o tipo de dados de uma coluna.

Feche a consulta e aplique suas alterações

Ao concluir todas as transformações de dados, selecione Fechar &Aplicar no menu Página Inicial . Essa ação salva a consulta e retorna você para a guia Report no Power BI.

Captura de tela da opção Fechar e Aplicar no Editor do Power Query.

Criar relatório de Tabela

  1. Em Power BI, em Visualizations, selecione Table. Arraste e solte os campos na área Colunas .

    Captura de tela das seleções de campos de visualização para o relatório da tabela de testes Flaky.

  2. Adicione os campos a seguir à seção Colunas na ordem listada.

    • Test.TestName
    • TotalCount
    • PassedCount
    • FailedCount
    • FlakyCount
    • FlakyRate

Seu relatório deve ser semelhante à imagem a seguir.

Captura de tela do relatório da tabela de testes de amostra Flaky.

Recursos da tarefa de teste

Conteúdo relacionado

  • Last updated on