Configurar a avaliação humana para seus agentes (versão prévia)

Este artigo explica como configurar a avaliação humana para seu agente do Foundry. Como construtor de agentes, você define modelos de pergunta de avaliação focados nos principais aspectos de interesse. Revisores humanos, sejam eles pares, cientistas de dados ou membros da equipe de conformidade, completam esses modelos para cada resposta de agente durante a visualização de respostas do agente. Depois que os revisores enviam suas avaliações, você pode exibir e baixar os resultados diretamente do portal do Foundry para análise adicional.

Pré-requisitos

• Um projeto Foundry com um ou mais agentes.

• Application Insights configurado para o seu projeto.

• Ter a função de Foundry Project Manager (ou superior) no projeto Foundry para criar e gerenciar modelos de avaliação. Para obter mais informações, consulte Controle de acesso baseado em função no Microsoft Foundry.

  Importante

  As funções RBAC do Foundry foram renomeadas recentemente. Foundry User, Foundry Owner, Foundry Account Owner e Foundry Project Manager eram anteriormente chamados de Usuário do Azure AI, Proprietário do Azure AI, Proprietário da conta do Azure AI e Gerente de Projeto do Azure AI. Você ainda pode ver os nomes anteriores em alguns lugares enquanto essa mudança de nome está sendo implementada. Os IDs das funções e as permissões principais não são alterados com a mudança de nome.

• Para revisores humanos: função Foundry User (mínima) no projeto Foundry e Reader na conta, para acessar o aplicativo web de pré-visualização e enviar feedback.

Criar um modelo de avaliação humana

Para iniciar a avaliação humana do agente do Foundry, defina um modelo que contenha o conjunto de perguntas que você deseja que os revisores humanos concluam com base nas respostas do agente.

1. Selecione o agente que você deseja avaliar na tabela do agente na guia Agentes .

2. Navegue até a guia Avaliação Humana em Avaliação.

3. Selecione Criar novo modelo para iniciar o processo de criação do modelo.

4. No pop-up Criar Modelo de Avaliação Humana , atribua um nome e uma descrição, edite ou exclua perguntas de exemplo e adicione novas perguntas com base em suas metas de avaliação. Os tipos de pergunta com suporte incluem polegares para cima/para baixo, controle deslizante, várias opções e texto de forma livre.

   Dica

   Perguntas de exemplo por tipo:

   • Gostei/Não gostei: "Esta resposta foi precisa?"
   • Barra deslizante (1 a 5): "Avalie a utilidade desta resposta."
   • Várias opções: "Qual melhor descreve essa resposta? (Correto/ Parcialmente correto/Incorreto)"
   • Texto de forma livre: "Qual contexto adicional teria melhorado essa resposta?"

5. Depois de configurar o modelo, selecione Criar para finalizá-lo.

O novo modelo aparece na tabela de modelos com status inativo . Ative-o antes que os revisores comecem a avaliar.

Gerenciar seus modelos de avaliação

Você pode criar vários modelos de avaliação com base em suas necessidades de avaliação. A tabela de modelo permite que você edite, exclua e defina modelos como ativos ou inativos.

• Selecione Editar na tabela de modelo para atualizar um modelo. O modelo é aberto em um pop-up editável.
• Selecione Excluir para remover um modelo.

  Observação

  Depois de excluído, o modelo e seus resultados de avaliação associados não podem ser recuperados do portal.

• Para definir um modelo como ativo, selecione Definir como ativo na tabela de modelo. Somente um modelo pode estar ativo a qualquer momento. Ativar um novo modelo desativa automaticamente o anterior. Selecione Definir como inativo para parar de capturar resultados de avaliação humana para o modelo atual.

Realizar avaliação humana

Depois que o modelo de avaliação é configurado e definido como ativo para o agente de destino, os revisores humanos podem iniciar sua avaliação por meio do aplicativo Web de visualização — uma interface de chat baseada em navegador iniciada diretamente do construtor de agentes.

1. Selecione Visualizar no canto superior direito do construtor de agentes para abrir o agente em uma interface de chat baseada em navegador.
2. Insira a entrada e selecione Enviar para disparar uma execução de agente.
3. Depois que o agente responder, selecione o botão Comentários para fornecer avaliação humana para essa resposta.
   • Um painel lateral é exibido, exibindo o modelo de avaliação ativa.
   • Os revisores podem responder a algumas ou todas as perguntas no formulário.
4. Selecione Salvar para armazenar os dados de avaliação ou Cancelar para descartar.
5. Continue avaliando respostas adicionais inserindo novas entradas ou navegando para respostas anteriores.
   • Os revisores podem ignorar avaliações para determinadas respostas ou enviar várias avaliações para a mesma resposta.

As avaliações salvas são registradas para cada resposta de agente e estão disponíveis para os construtores de agentes na seção Resultados da Avaliação.

Examinar os resultados da avaliação humana

Depois que os revisores humanos concluirem suas avaliações, os construtores de agentes poderão visualizar e baixar os resultados para análise posterior por meio do portal do Foundry.

1. Navegue até a tabela de modelo na guia Avaliação Humana e selecione o modelo para o qual você deseja examinar os resultados.
2. Todos os resultados de avaliação correspondentes aparecem na seção Resultados da Avaliação . Cada instância é exibida com seu carimbo de data/hora para referência.
3. Selecione uma instância de avaliação para exibir seu resumo JSON na seção Saída JSON . O JSON inclui:
   • Carimbo de data/hora
   • Prompt do usuário
   • Resposta do agente
   • Perguntas do modelo de avaliação
   • Respostas do revisor
4. Para baixar todos os resultados de avaliação de um modelo, selecione Baixar Resultados. Os resultados são exportados como um arquivo CSV que contém todas as informações da exibição JSON para cada instância de avaliação.

O CSV baixado contém uma linha por instância de avaliação, com colunas para cada campo da exibição JSON.

Conteúdo relacionado

• Avaliar seus agentes de IA
• Visão geral de rastreamento de agente
• Solucionar problemas de avaliação e observabilidade