Otimizar um agente não começa no lançamento. Copilot Studio fornece análises avançadas que ajudam você a entender como os usuários interagem com seu agente, onde as conversas são bem-sucedidas ou interrompidas e o quão bem o agente usa suas ferramentas e conhecimento. Este artigo fornece uma lista de verificação estruturada e melhores práticas para ajudar você a avaliar e melhorar continuamente seu corretor.
Valide sua prontidão para melhorias e análises
Use essas perguntas durante revisões regulares, como cerimônias de sprint, otimizações mensais ou preparação para lançamento.
Temas e padrões de intenção do usuário
| Feito? |
Tarefa |
| ✓ |
Você está revisando temas para identificar grupos de perguntas dos usuários e intenções emergentes? |
| ✓ |
Você está adicionando temas frequentes ao seu catálogo para melhorias futuras? |
Resultados da conversa
| Feito? |
Tarefa |
| ✓ |
Você está analisando conversas resolvidas, escaladas, abandonadas e não engajadas para encontrar áreas de melhoria? |
| ✓ |
Você está garantindo que as conversas terminem com o tema Final da Conversa para que os resultados sejam capturados corretamente? |
| ✓ |
Você está investigando picos em sessões abandonadas para identificar respostas confusas ou ausência de lógica? |
| ✓ |
Você está validando que os caminhos de escalonamento só são acionados quando apropriado? |
Taxa de resposta gerada e qualidade
| Feito? |
Tarefa |
| ✓ |
Você revisa a taxa de resposta gerada para identificar lacunas de conhecimento ou cobertura ausente? |
| ✓ |
Você verifica métricas de qualidade das respostas, como completude, fundamento e relevância? |
| ✓ |
Você investiga respostas de baixa qualidade e aborda os motivos apontados na análise? |
| Feito? |
Tarefa |
| ✓ |
Você monitora com que frequência ferramentas e ações são invocadas e se elas têm sucesso ou fracasso? |
| ✓ |
Você identifica ferramentas subutilizadas ou propensas a erros e decide se as otimiza ou as remo? |
| ✓ |
Você valida que as ferramentas usadas em orquestração generativa funcionam de forma confiável? |
| Feito? |
Tarefa |
| ✓ |
Você revisa o uso e as taxas de erro de todas as fontes de conhecimento? |
| ✓ |
Você prioriza atualizações para fontes de conhecimento com altas taxas de erro ou resultados inconsistentes? |
| ✓ |
Você verifica se as fontes de conhecimento corretas apoiam os cenários para os quais são destinadas? |
Satisfação e feedback dos usuários
| Feito? |
Tarefa |
| ✓ |
Você está coletando a opinião dos usuários por meio de feedback positivo/negativo e pesquisas CSAT de satisfação do cliente? |
| ✓ |
Você está analisando tendências de feedback para detectar respostas pouco claras ou fluxos fracos de conversa? |
| ✓ |
Você está adicionando padrões de interação de baixa satisfação à lista de pendências para novo projeto? |
Textos explicativos de melhores práticas
-
Trate a análise como um ciclo iterativo de melhoria: Use a análise para impulsionar mudanças incrementais. Use temas, respostas incompletas e padrões de falha para informar o planejamento do sprint e priorizar itens atrasados.
-
Foque na qualidade dos resultados, não apenas no volume: um sistema saudável maximiza conversas resolvidas e minimiza escaladas e abandonos. Use indicadores de resultado como um indicador principal de clareza e efetividade.
-
Fortaleça as fontes de conhecimento de forma proativa: Alta taxa de erro ou respostas de baixa qualidade frequentemente apontam para fontes de conhecimento pouco claras, desatualizadas ou incompatíveis. Atualize e reestruture essas fontes com frequência para melhor fundamento.
-
Otimize ferramentas para estabilidade e sucesso: solicitações de ferramentas pouco confiáveis prejudicam a confiança. Acompanhe as taxas de sucesso e as ações de refatoração que frequentemente falham ou retornam dados inconsistentes.
-
Use temas para identificar novas oportunidades: Temas destacam intenções emergentes. Use-as para informar novos temas, fontes de conhecimento ou necessidades de integração.
-
Garanta o encerramento adequado das conversas: sempre use o tópico Encerramento da Conversa para capturar resolução e CSAT. Sem esse tema, as análises se tornam incompletas e enganosas.
-
Avaliação separada de agentes autônomos e iniciados pelo usuário: Agentes autônomos dependem fortemente de gatilhos e cadeias de ferramentas. Revise os resultados da execução e os gatilhos separadamente dos fluxos iniciados pelo usuário.
-
Acompanhe o sentimento ao longo do tempo: Feedback isolado é útil, mas tendências de sentimento de várias semanas revelam problemas sistêmicos. Investigue quedas persistentes no início.