Configurar uma avaliação humana para os seus agentes (versão de teste)

Este artigo explica como configurar uma avaliação humana para o seu agente da Foundry. Como gestor de agentes, defines modelos de perguntas de avaliação focados em aspetos-chave de interesse. Revisores humanos — pares, cientistas de dados ou membros da equipa de compliance — completam esses modelos para cada resposta de agente na experiência de pré-visualização do agente. Após os revisores submeterem as suas avaliações, pode visualizar e descarregar os resultados diretamente do portal Foundry para análises adicionais.

Pré-requisitos

• Um projeto Foundry com um ou mais agentes.

• *Application Insights* configurado para o seu projeto.

• função de Foundry Project Manager (ou superior) no projeto da Foundry, para criar e gerir modelos de avaliação. Para mais informações, consulte Controlo de acesso baseado em funções no Microsoft Foundry.

  Importante

  As funções RBAC do Foundry foram recentemente renomeadas. Foundry User, Foundry Owner, Foundry Account Owner e Foundry Project Manager foram anteriormente nomeados Azure AI User, Azure AI Owner, Azure AI Account Owner e Azure AI Project Manager. Poderá ainda ver os nomes anteriores em alguns locais enquanto esta alteração de nome está a ser implementada. Os IDs das funções e as permissões principais não são alterados por esta mudança de nome.

• Para revisores humanos: Papel mínimo de utilizador do Foundry no projeto Foundry e leitor na conta, para aceder à aplicação web de pré-visualização e submeter feedback.

Crie um modelo de avaliação humana

Para iniciar a avaliação humana do seu agente da Foundry, defina um modelo que contenha o conjunto de perguntas que pretende que os revisores humanos respondam com base nas respostas dos agentes.

1. Selecione o agente que quer avaliar na tabela de agentes no separador Agentes .

2. Navegue até ao separador Avaliação Humana em Avaliação.

3. Selecione Criar novo modelo para iniciar o processo de criação do modelo.

4. No pop-up Criar Modelo de Avaliação Humana , atribua um nome e uma descrição, edite ou elimine perguntas de exemplo e adicione novas perguntas com base nos seus objetivos de avaliação. Os tipos de perguntas suportados incluem polegares para cima/baixo, slider, escolha múltipla e texto livre.

   Dica

   Perguntas de exemplo por tipo:

   • Curtir/Não curtir: "Esta resposta foi precisa?"
   • Slider (1–5): "Avalia a utilidade desta resposta."
   • Escolha múltipla: "O que melhor descreve esta resposta? (Correto / Parcialmente correto / Incorreto)"
   • Texto livre: "Que contexto adicional teria melhorado esta resposta?"

5. Depois de configurar o modelo, selecione Criar para o finalizar.

O novo modelo aparece na tabela de modelos com o estado Inativo . Ative-o antes que os revisores comecem a avaliar.

Gere os seus modelos de avaliação

Pode criar vários modelos de avaliação com base nas suas necessidades de avaliação. A tabela de modelos permite-lhe editar, eliminar e definir modelos como ativos ou inativos.

• Selecione Editar na tabela de modelos para atualizar um modelo. O modelo abre numa janela pop-up editável.
• Selecione Eliminar para remover um modelo.

  Nota

  Uma vez eliminado, o modelo e os resultados de avaliação associados não podem ser recuperados do portal.

• Para definir um modelo como ativo, selecione Definir como ativo na tabela de modelos. Apenas um modelo pode estar ativo de cada vez. Ativar um novo modelo desativa automaticamente o anterior. Selecione Definir como inativo para parar de capturar resultados de avaliação humana para o modelo atual.

Realizar avaliação humana

Depois de o modelo de avaliação ser configurado e definido como ativo para o agente alvo, os revisores humanos podem iniciar a avaliação através da aplicação web de pré-visualização — uma interface de chat baseada no navegador lançada diretamente pelo construtor de agentes.

1. Selecione Pré-visualização no canto superior direito do construtor de agentes para abrir o agente numa interface de chat baseada no navegador.
2. Introduza a entrada e selecione Enviar para desencadear uma execução de agente.
3. Depois de o agente responder, selecione o botão Feedback para fornecer avaliação humana dessa resposta.
   • Aparece um painel lateral, exibindo o modelo de avaliação ativa.
   • Os revisores podem responder a algumas ou todas as perguntas do formulário.
4. Selecione Guardar para armazenar os dados de avaliação, ou Cancelar para descartar.
5. Continue a avaliar respostas adicionais introduzindo novas entradas ou navegando para respostas anteriores.
   • Os revisores podem saltar avaliações para certas respostas ou submeter múltiplas avaliações para a mesma resposta.

As avaliações guardadas são registadas para cada resposta do agente e ficam disponíveis para os construtores de agentes na secção Resultados de Avaliação.

Rever os resultados da avaliação humana

Depois de os revisores humanos concluírem as suas avaliações, os construtores de agentes podem pré-visualizar e descarregar os resultados para análises adicionais através do portal Foundry.

1. Navegue até à tabela de modelos no separador de Avaliação Humana e selecione o modelo para o qual pretende rever os resultados.
2. Todos os resultados correspondentes das avaliações aparecem na secção de Resultados da Avaliação . Cada instância é exibida com o seu carimbo temporal para referência.
3. Selecione uma instância de avaliação para visualizar o seu resumo JSON na secção de Saída JSON . O JSON inclui:
   • Carimbo temporal
   • Prompt do utilizador
   • Resposta do agente
   • Perguntas do modelo de avaliação
   • Respostas do revisor
4. Para descarregar todos os resultados das avaliações de um modelo, selecione Transferir Resultados. Os resultados são exportados como um ficheiro CSV contendo toda a informação da vista JSON para cada instância de avaliação.

O CSV descarregado contém uma linha por instância de avaliação, com colunas para cada campo da vista JSON.

Conteúdo relacionado

• Avalie os seus agentes de IA
• Visão geral do rastreio de agentes
• Solucionar problemas de avaliação e de observabilidade