Melhore os testes de agente com o Copilot Studio Kit

O Power CAT Copilot Studio Kit é um aplicativo amigável que permite verificar as respostas do agente. Ele também inclui recursos nativos, como exportação e importação de Excel para criação e atualizações em massa.

Configurar, executar e analisar

Configure e execute testes nas APIs de Copilot Studio (Direct Line API) para avaliar as respostas do agente em relação aos resultados esperados.

Para enriquecer os resultados, recupere pontos de dados adicionais do Aplicativo Azure Insights e do Dataverse analisando registros de transcrição de conversa (como o nome exato do tópico disparado e as pontuações de reconhecimento de intenção).

Para respostas geradas por IA, que são, por natureza, não determinísticas, use prompts para comparar a resposta gerada com uma resposta exemplo ou com instruções de validação.

Tipos de teste

A ferramenta dá suporte a esses tipos de testes:

• Correspondência de respostas
• Anexos, como cartões adaptativos (Cartões Adaptáveis)
• Correspondência de tópico (requer Dataverse)
• Respostas generativas (requer AI Builder para análise de resposta e Application Insights para obter detalhes sobre por que uma resposta não foi gerada)
• O tipo de teste de vários turnos é um tipo de teste especial. Ele consiste em um conjunto de casos de teste de tipos regulares que são executados em uma ordem especificada no mesmo contexto de conversa. Use testes de vários turnos para testar cenários de ponta a ponta e para testar agentes personalizados com orquestração generativa.
• A validação do plano permite que os criadores validem que seus agentes personalizados que usam orquestração generativa incluem as ferramentas esperadas. Em vez de avaliar o que o agente diz, esse tipo de teste verifica se o plano dinâmico do agente inclui as ferramentas esperadas (ferramentas, ações e agentes conectados) a um limite pré-determinado.

Saiba mais sobre os tipos de teste em Configure testes no Copilot Studio Kit.

Próxima etapa

Informações relacionadas

• Automatizar o teste e a implantação dos agentes do Copilot Studio usando pipelines no Power Platform
• Documentação do AI Builder
• Documentação do Dataverse
• Documentação do Application Insights