Partilhar via

Relatório de amostra de testes com falha

Azure DevOps Serviços | Azure DevOps Server | Azure DevOps Server 2022

Você pode criar um relatório que lista testes com falha, semelhante à imagem a seguir, para execuções de pipeline que incluem tarefas de teste. Para informações sobre como adicionar testes a um pipeline, consulte os recursos de tarefas de Teste mais adiante neste artigo.

Captura de ecrã do relatório de Testes Falhados.

Use as consultas neste artigo para gerar os seguintes relatórios:

  • Testes com falha para fluxo de trabalho de compilação
  • Testes falhados para fluxo de trabalho de lançamento
  • Testes com falha para uma ramificação específica
  • Testes com falha para um arquivo de teste específico
  • Testes reprovados para um proprietário de teste específico

Nota

As consultas de exemplo neste artigo requerem uma versão v3.0-preview ou posterior do feed Analytics OData. Partilhe o seu feedback.

Categoria Requerimentos
Níveis de acesso - Membro do projeto.
- Pelo menos acesso básico ao.
Permissões Por padrão, os membros do projeto têm permissão para consultar o Google Analytics e criar modos de exibição. Para obter mais informações sobre outros pré-requisitos relacionados com a ativação de serviços e funcionalidades e atividades gerais de monitorização de dados, consulte Permissões e pré-requisitos para aceder ao Analytics.

Nota

Este artigo assume que lê Visão geral de relatórios de exemplo usando consultas OData e que tem uma compreensão básica de Power BI.

Consultas de exemplo

Use as seguintes consultas do conjunto de entidades TestResultsDaily para criar relatórios de teste falhado de pipeline que sejam diferentes, mas semelhantes. Este conjunto de entidades fornece uma imagem instantânea diária do agregado das execuções TestResult, agrupadas por teste.

Nota

Para encontrar propriedades disponíveis para filtragem ou relatório, consulte a referência Metadata para Test Plans Analytics e a referência Metadata para Azure Pipelines. Pode filtrar consultas ou devolver propriedades usando qualquer Property valor definido sob um EntityType, ou qualquer NavigationPropertyBinding Path valor listado para um EntitySet. Cada EntitySet corresponde a um EntityType, que documenta o tipo de dados para cada propriedade.

Testes com falha para um fluxo de trabalho de compilação

Use as consultas a seguir para visualizar os testes falhados de um pipeline de fluxo de trabalho de compilação.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate} "
        &"and Workflow eq 'Build' "
        &") "
            &"/groupby( "
                &"(TestSK, Test/TestName), "
                &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
        &"ResultNotExecutedCount with sum as NotExecutedCount, "
    &"ResultNotImpactedCount with sum as NotImpactedCount, "
    &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes com falha no fluxo de trabalho Release

Use as seguintes consultas para ver os testes com falha de um pipeline de lançamento.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate} "
        &"and Workflow eq 'Release' "
        &") "
        &"/groupby((TestSK, Test/TestName), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes falhados filtrados por ramificação

Para visualizar os testes falhados de um pipeline para uma ramificação específica, use as consultas seguintes. Para criar o relatório, execute as seguintes etapas extras juntamente com o que é especificado posteriormente neste artigo.

  • Expanda Branch para Branch.BranchName.
  • Selecione o Slicer de Visualização do Power BI e adicione o campo Branch.BranchName ao Campo do slicer.
  • Selecione o nome da ramificação na segmentação de dados para a qual você precisa ver o resumo do resultado.

Para mais informações sobre o uso de slicers, veja Slicers em Power BI.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate} "
        &"and Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
            &"ResultNotImpactedCount with sum as NotImpactedCount, "
        &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes com falha filtrados por arquivo de teste

Para exibir os testes com falha para um pipeline e um arquivo de teste específico, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras juntamente com o que é definido posteriormente neste artigo.

  • Expanda Test para Test.ContainerName.
  • Selecione Power BI Visualization Slicer e adicione o campo Test.ContainerName ao campo Field do slicer.
  • Selecione o nome do contêiner na segmentação de dados para o qual você precisa ver o resumo do resultado.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes com falha filtrados pelo proprietário do teste

Para visualizar os testes falhados de uma pipeline destinada a testes sob a responsabilidade de um determinado responsável por testes, utilize as seguintes consultas. Para criar o relatório, execute as seguintes etapas extras juntamente com o que é definido posteriormente neste artigo.

  • Expanda Test para Test.TestOwner.
  • Selecione o Slicer de Visualização do Power BI e adicione o campo Test.TestOwner ao Campo do slicer.
  • Selecione o proprietário do teste no filtro para o qual precisa ver o resumo do resultado.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Cadeias de caracteres de substituição e detalhamento de consulta

Substitua as seguintes cadeias pelos teus valores. Não inclua as chaves {} na sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua {organization} por Fabrikam, não {Fabrikam}.

  • {organization} - Nome da sua organização.
  • {project} - O nome do projeto da sua equipa.
  • {pipelinename} - O nome do seu pipeline. Exemplo: Fabrikam hourly build pipeline.
  • {startdate} - A data para iniciar o seu relatório. Formato: AAAA-MM-DDZ. Exemplo: 2021-09-01Z representa 1º de setembro de 2021. Não coloque entre aspas ou parênteses e use dois dígitos para ambos, mês e data.

Detalhamento da consulta

A tabela a seguir descreve cada parte da consulta.

Parte da consulta

Descrição

$apply=filter(

Cláusula inicial filter() .

Pipeline/PipelineName eq '{pipelineName}'

O teste de retorno é executado para o pipeline especificado.

and Date/Date ge {startdate}

O teste de retorno é executado na data especificada ou após ela.

and Workflow eq 'Build'

O teste de retorno é executado para Build pipeline de fluxo de trabalho.

)

Fechar cláusula filter().

/groupby(

Cláusula inicial groupby() .

(TestSK, Test/TestName),

Agrupar pelo nome do teste

aggregate(

Cláusula Start aggregate para somar as execuções de teste correspondentes aos critérios de filtro.

ResultCount with sum as TotalCount,

Conte o número total de execuções de teste como TotalCount.

ResultPassCount with sum as PassedCount,

Conte o número total de execuções de teste bem-sucedidas como PassedCount.

ResultFailCount with sum as FailedCount,

Conte o número total de execuções de teste com falha como FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Conte o número total de execuções de teste não executadas como NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Conte o número total de execuções de teste não afetadas como NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Conte o número total de execuções de testes inconsistentes como FlakyCount.

))

Cláusulas aggregate() e groupby() fechar.

/filter(FailedCount gt 0)

Filtre para incluir apenas testes que tenham pelo menos uma falha.

/compute(

Cláusula inicial compute() .

iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate

Para todos os testes, calcule PassRate.

)

Fechar cláusula compute().

(Opcional) Renomear consulta

Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Introduza um novo nome no painel de Definições de Consulta .

Captura de ecrã das opções do menu de consulta Power BI, renomear a consulta.

Expandir a coluna de Teste no Power BI

Expanda a Test coluna para mostrar a entidade Test.TestNameexpandida. Quando expandes a coluna, achatas o registo em campos específicos. Para mais informações, consulte Converter os dados de Analytics para gerar relatórios no Power BI, Expandir as colunas.

Alterar o tipo de dados da coluna

  1. No Editor do Power Query, selecione as colunas TotalCount, PassedCount, FailedCount, NotExecutedCount, NotImpactedCount e FlakyCount. Selecione Tipo de Dado no menu Transformar e depois escolha Número Inteiro.

  2. Selecione a PassRate coluna. Selecione Tipo de Dados no menu Transformar e depois escolha Número Decimal.

Para mais informações sobre a alteração do tipo de dados, consulte Transforme dados de Análise para gerar relatórios Power BI, Transforme um tipo de dado de coluna.

Feche a consulta e aplique as alterações

Quando terminares todas as transformações de dados, seleciona Fechar e Aplicar no menu Inicial . Esta ação guarda a consulta e devolve-o ao separador Report no Power BI.

Captura de ecrã da opção Editor do Power Query Fechar e Aplicar.

Criar o relatório de Tabela

  1. No Power BI, em Visualizações, selecione Tabela. Arrasta e larga os campos na área das Colunas .

    Captura de ecrã das seleções de campos de visualização para o relatório da tabela Testes falhados.

  2. Adicione os seguintes campos à seção Colunas na ordem listada.

    • Test.TestName
    • TotalCount
    • PassedCount
    • FailedCount
    • NotImpactedCount
    • NotExecutedCount
    • FlakyCount
    • PassRate

Seu relatório deve ser semelhante à imagem a seguir.

Captura de ecrã do relatório da tabela de testes falhados de exemplo.

Recursos da tarefa de teste

  • Last updated on