Partilhar via


Melhore os testes de agentes com o Copilot Studio Kit

O Power CAT Copilot Studio Kit é uma aplicação fácil de usar que permite verificar as respostas dos agentes. Inclui também funcionalidades nativas como exportação e importação em Excel para criação em massa e atualizações.

Configurar, executar e analisar

Configure e execute testes contra as APIs do Copilot Studio (Direct Line API) para avaliar as respostas dos agentes face aos resultados esperados.

Para enriquecer os resultados, recupere pontos de dados adicionais do Aplicação Azure Insights e Dataverse analisando registos de transcrições de conversas (como o nome exato do tema desencadeado e as pontuações de reconhecimento de intenções).

Para respostas geradas por IA, que são não determinísticas por natureza, use sugestões para comparar a resposta gerada com uma resposta de exemplo ou critérios de validação.

Diagrama que mostra os componentes da Azure e Power Platform envolvidos nos testes e análises de APIs Copilot Studio Direct Line, incluindo Aplicação Azure Insights, AI Builder e Dataverse.

Tipos de teste

A ferramenta suporta estes tipos de testes:

  • Correspondências de respostas
  • Acessórios como Cartões Adaptativos
  • Correspondência de tópicos (requer Dataverse)
  • Respostas generativas (requer o AI Builder para análise de respostas e o Application Insights para detalhes sobre porque é que uma resposta não foi gerada)
  • O tipo de teste de várias voltas é um tipo de teste especial. Ele consiste em um conjunto de casos de teste de tipos regulares que são executados em uma ordem especificada no mesmo contexto de conversação. Use testes multi-etapas para testar cenários de ponta a ponta, e para testar agentes personalizados com orquestração generativa.
  • A validação do plano permite que os fabricantes validem se seus agentes personalizados que usam orquestração generativa incluem as ferramentas esperadas. Em vez de avaliar o que o agente diz, esse tipo de teste verifica se o plano dinâmico do agente inclui as ferramentas esperadas (ferramentas, ações e agentes conectados) até um limite predeterminado.

Saiba mais sobre os tipos de testes em Configure testes no Copilot Studio Kit.

Captura de tela dos detalhes do resultado da execução do teste, incluindo um gráfico mostrando a taxa de sucesso e a latência para todas as execuções de teste.

Próximo passo