Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
O Power CAT Copilot Studio Kit é uma aplicação fácil de usar que permite verificar as respostas dos agentes. Inclui também funcionalidades nativas como exportação e importação em Excel para criação em massa e atualizações.
Configurar, executar e analisar
Configure e execute testes contra as APIs do Copilot Studio (Direct Line API) para avaliar as respostas dos agentes face aos resultados esperados.
Para enriquecer os resultados, recupere pontos de dados adicionais do Aplicação Azure Insights e Dataverse analisando registos de transcrições de conversas (como o nome exato do tema desencadeado e as pontuações de reconhecimento de intenções).
Para respostas geradas por IA, que são não determinísticas por natureza, use sugestões para comparar a resposta gerada com uma resposta de exemplo ou critérios de validação.
Tipos de teste
A ferramenta suporta estes tipos de testes:
- Correspondências de respostas
- Acessórios como Cartões Adaptativos
- Correspondência de tópicos (requer Dataverse)
- Respostas generativas (requer o AI Builder para análise de respostas e o Application Insights para detalhes sobre porque é que uma resposta não foi gerada)
- O tipo de teste de várias voltas é um tipo de teste especial. Ele consiste em um conjunto de casos de teste de tipos regulares que são executados em uma ordem especificada no mesmo contexto de conversação. Use testes multi-etapas para testar cenários de ponta a ponta, e para testar agentes personalizados com orquestração generativa.
- A validação do plano permite que os fabricantes validem se seus agentes personalizados que usam orquestração generativa incluem as ferramentas esperadas. Em vez de avaliar o que o agente diz, esse tipo de teste verifica se o plano dinâmico do agente inclui as ferramentas esperadas (ferramentas, ações e agentes conectados) até um limite predeterminado.
Saiba mais sobre os tipos de testes em Configure testes no Copilot Studio Kit.