Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Uma estratégia de teste bem planejada reduz o risco de agentes falharem em produção. Trate os testes como um processo contínuo ao longo de todo o ciclo de vida do agente. Crie testes para verificar se as funcionalidades centrais do agente funcionam conforme o previsto. Depois, valide as mudanças para garantir que não introduzam regressões. Sempre execute testes antes da implantação no ambiente de produção e considere incluir testes automatizados como parte do seu pipeline de implantação.
Uma estratégia bem pensada de teste de agentes inclui os seguintes elementos:
| Tipo de teste | Description |
|---|---|
| Testes de tempo de desenvolvimento | Testes unitários de componentes individuais durante a fase de construção. |
| Teste de cenários centrais | Valide o cenário do "caminho feliz" para a funcionalidade do agente principal para confirmar que os resultados são confiáveis. |
| Teste de conhecimento | Avalie o conhecimento do agente sobre um domínio com perguntas específicas. |
| Teste de regressão | Teste novamente casos de teste anteriores quando as alterações forem feitas para garantir que ainda funcionem como esperado. |
| Testes adversariais | Tente casos extremos, consultas com intenção desconhecida ou informações falsas. |
| Testes de desempenho e carga | Simule consultas de alto volume para avaliar latência e escalabilidade enquanto monitora os tempos de resposta sob estresse. Saiba mais no Plano e crie um teste de desempenho para agentes conversacionais. |
| Testes de segurança e conformidade | Valide o controle de acesso baseado em função (RBAC), o acesso condicional e a aplicação de rótulos de sensibilidade, garantindo que nenhum dado confidencial seja vazado. |
| Acessibilidade e testes de UX | Verifique clareza, tom e inclusão nas respostas e valide padrões de suporte multilíngue e acessibilidade. |
Considere estes princípios gerais para melhorar a metodologia geral de testes:
- Testes shift-left: Comece cedo durante o desenvolvimento e continue durante a implantação.
- Iterar e definir: Atualize os casos de teste à medida que novas funcionalidades ou conhecimentos são incorporados.
- Teste antes da produção: Sempre valide em um ambiente de staging antes do lançamento.
- Automatize sempre que possível: Integre testes automatizados em pipelines CI/CD para maior consistência.
Avaliar agentes no Copilot Studio
No Copilot Studio, você pode criar um conjunto de testes de casos de teste para avaliar o desempenho de seus agentes. Você pode criar manualmente as perguntas de teste ou gerá-las a partir das instruções, capacidades e conhecimento do agente. Você pode até mesmo preencher questões de teste das conversas de chat de testes anteriores no Copilot Studio.
Os métodos de avaliação atualmente incluídos no Copilot Studio são:
- Método de teste de correspondência de texto: Verifica se o texto é uma correspondência exata ou contém uma correspondência parcial ou palavras ou frases específicas.
- Método do teste de similaridade: Compara a semelhança da resposta do agente com a resposta esperada. Esse método é útil quando existem várias formas corretas de formular a resposta, mas o significado geral é o mesmo.
- Método de teste de qualidade: Determina a qualidade geral da resposta de um agente utilizando critérios-chave como relevância, fundamento, completude e abstenção. Ou, compara o significado da resposta do agente com a resposta esperada para similaridade de intenção.
Executar testes em massa usando o Copilot Studio Kit
O Copilot Studio Kit inclui um conjunto de automação de teste que permite aos fabricantes testar a precisão do agente em escala. Você pode configurar testes individuais fornecendo a declaração esperada do usuário, a resposta do agente e selecionando um tipo de teste. Você pode agrupar múltiplos testes em conjuntos de teste que você pode atribuir a um agente como parte de uma execução de testes.
O kit do Copilot Studio atualmente dá suporte a diferentes tipos de teste, como correspondência de resposta, correspondência de tópico e várias rodadas.
Realizar verificações de segurança e conformidade
Política de dados e validação de RBAC: Verifique se as políticas, as funções e as conexões no nível do ambiente estão configuradas corretamente no ambiente de produção e se as políticas de dados corretas estão habilitadas.
Gerenciamento de Azure: revise e aprove o registro de aplicativo integrado, VNets, chaves e pontos de extremidade no Azure para seus recursos de produção.
Fontes e dados de conhecimento de produção: Verifique se todas as fontes de conhecimento de produção (por exemplo, bibliotecas de SharePoint) e documentos de produção são devidamente referenciados para agentes de produção, especialmente se você utilizou fontes diferentes durante o desenvolvimento e teste.
Próxima etapa
Aprenda a empacotar, versionar e mover seus agentes de forma confiável entre ambientes utilizando práticas estruturadas de Gerenciamento do Ciclo de Vida de Aplicações (ALM).