Como executar uma avaliação no Azure DevOps (versão prévia)

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Supplemental Terms of Use for Microsoft Azure Previews.

Essa extensão Azure DevOps permite a avaliação offline de Microsoft Foundry Agents em seus pipelines de CI/CD. Ele simplifica o processo de avaliação offline, para que você possa identificar possíveis problemas e fazer melhorias antes de lançar uma atualização para a produção.

Para usar essa extensão, forneça um conjunto de dados com consultas de teste e uma lista de avaliadores. Essa tarefa invoca seus agentes com as consultas, as avalia e gera um relatório de resumo.

Features

Agent Evaluation: Automatizar a avaliação pré-produção dos agentes do Microsoft Foundry no fluxo de trabalho de CI/CD.
Avaliadores: use qualquer avaliador do catálogo de avaliadores do Foundry.
Análise Estatística: os resultados da avaliação incluem intervalos de confiança e teste de significância estatística para determinar se as alterações são significativas e não devido à variação aleatória.

Categorias de avaliador

Avaliadores de agente: avaliadores de processo e de nível de sistema para fluxos de trabalho do agente.
Avaliadores RAG: Avaliar processos de ponta a ponta e recuperação em sistemas RAG.
Avaliadores de risco e segurança: avalie os riscos e as preocupações com a segurança nas respostas.
Avaliadores de uso geral: avaliação da qualidade, como a coerência e a fluência.
Avaliadores baseados em OpenAI: use avaliadores do OpenAI, incluindo verificação de cadeias de caracteres, similaridade de texto e modelo de pontuação/rotulagem.
Avaliadores personalizados: defina seus próprios avaliadores personalizados usando código Python ou padrões LLM-as-a-judge.

Pré-requisitos

Um projeto. Para saber mais, consulte Criar um project.
Um agente do Foundry.
A extensão AI Agent Evaluation instalada em sua organização Azure DevOps.

Dica

O método de autenticação recomendado é Microsoft Entra ID por meio de uma conexão de serviço Azure Resource Manager. Crie uma conexão de serviço em seu projeto do Azure DevOps e, em seguida, referencie-a em seu pipeline usando a tarefa AzureCLI@2 antes de AIAgentEvaluation@2.

Entradas

Parâmetros

Nome	Obrigatório?	DESCRIÇÃO
ponto de extremidade do projeto azure-ai	Yes	Ponto de extremidade do projeto Microsoft Foundry. Para encontrar esse valor, abra seu projeto no portal do Foundry e copie o ponto de extremidade da página Visão geral .
Nome da implantação	Yes	O nome de uma implantação de modelo de IA do Azure a ser usada para avaliação. Localize as implantações existentes em Modelos + pontos de extremidade no portal do Foundry.
caminho de dados	Yes	Caminho para o arquivo de dados que contém os avaliadores e as consultas de entrada para avaliações.
ids de agente	Yes	ID de um ou mais agentes a serem avaliados em formato `agent-name:version` (por exemplo, `my-agent:1` ou `my-agent:1,my-agent:2`). Vários agentes são separados por vírgula e comparados com os resultados do teste estatístico.
baseline-agent-id	Não	ID do agente de linha de base com a qual comparar ao avaliar vários agentes. Se não for fornecido, o primeiro agente será usado.

Observação

Para localizar a ID e a versão do agente, abra seu projeto no portal do Foundry, acesse Agentes, selecione seu agente e copie a ID do Agente no painel de detalhes. A versão é o número da versão da implantação (por exemplo, my-agent:1).

Arquivo de dados

O arquivo de dados de entrada deve ser um arquivo JSON com a seguinte estrutura:

Campo	Tipo	Obrigatório?	DESCRIÇÃO
nome	cadeia	Yes	Nome do conjunto de dados de avaliação.
avaliadores	cadeia de caracteres[]	Yes	Lista de nomes do avaliador a serem usados. Confira a lista de avaliadores disponíveis no catálogo de avaliadores do seu projeto no portal do Foundry: Criar > Avaliações > Catálogo de avaliadores.
dados	object[]	Yes	Matriz de objetos de entrada com `query` e campos de avaliador opcionais, como `ground_truth` e `context`. Mapeado automaticamente para avaliadores; usar `data_mapping` para sobrescrever.
openai_graders	objeto	Não	Configuração para avaliadores baseados em OpenAI (label_model, score_model, string_check etc.).
parâmetros_do_avaliador	objeto	Não	Parâmetros de inicialização específicos do avaliador (por exemplo, limites, configurações personalizadas).
data_mapping	objeto	Não	Mapeamentos de campo de dados personalizados (gerados automaticamente de dados, se não fornecidos).

Arquivo de dados de exemplo básico


{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence"
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

Arquivos de dados de exemplo adicionais

Nome do Arquivo	DESCRIÇÃO
dataset-tiny.json	Conjunto de dados com um número reduzido de consultas de teste e avaliadores.
dataset.json	Conjunto de dados com todos os tipos de avaliador compatíveis e consultas suficientes para cálculo de intervalo de confiança e teste estatístico.
dataset-builtin-evaluators.json	Exemplo de avaliadores internos do Foundry (por exemplo, coerência, fluência, relevância, fundamentação, métricas).
dataset-openai-graders.json	Exemplo de classificadores baseados em OpenAI (modelos de rótulo, modelos de pontuação, similaridade de texto, verificações de cadeia de caracteres).
dataset-custom-evaluators.json	Exemplo de avaliadores personalizados com parâmetros de avaliação.
dataset-data-mapping.json	Exemplo de mapeamento de dados mostrando como substituir mapeamentos automáticos de campo com nomes de coluna de dados personalizados.

Amostra do pipeline

Para usar essa extensão, adicione a tarefa AIAgentEvaluation@2 ao pipeline do Azure. O exemplo a seguir mostra um pipeline completo que se autentica usando uma conexão de serviço Azure Resource Manager e avalia um agente.

steps:
  - task: AIAgentEvaluation@2
    displayName: "Evaluate AI Agents"
    inputs:
      azure-ai-project-endpoint: "$(AzureAIProjectEndpoint)"
      deployment-name: "$(DeploymentName)"
      data-path: "$(System.DefaultWorkingDirectory)/path/to/your/dataset.json"
      agent-ids: "$(AgentIds)"

Resultados e saídas de avaliação

Os resultados da avaliação aparecem no resumo do pipeline Azure DevOps. O relatório mostra as pontuações de avaliação para cada métrica, intervalos de confiança e , quando você avalia vários agentes, uma comparação estatística emparelhada que indica se as diferenças são significativas ou dentro da variação aleatória.

A captura de tela a seguir mostra um relatório de exemplo comparando dois agentes.

Comentários

Esta página foi útil?

Last updated on 2026-04-14