Analisar o desempenho do agente autónomo

A página Análises no Copilot Studio fornece uma visão agregada sobre a saúde geral do seu agente com acionadores de eventos ao longo de sessões de análise. A página também apresenta uma área de Descrição Geral que fornece métricas de indicadores chave de desempenho (KPI) de alto nível para o seu agente, uma área de Poupança que analisa poupanças de tempo e custos atribuídas ao seu agente ou às suas ferramentas, e uma área de Resumo que fornece informações analíticas chave sobre o desempenho do seu agente.

Para mais informações sobre:

Há quatro áreas principais nas quais se concentrar ao revisar e melhorar o desempenho dos agentes autônomos:

  • Resultados da execução: conhecer o resultado final de uma sessão iniciada por um acionador ajuda-o a começar a identificar onde o seu agente está a ter êxito e onde precisa de melhorar.
  • Uso de gatilhos: ver quais gatilhos são usados e com que frequência ajuda você a entender o que seu agente está fazendo e por quê.
  • Uso de ferramentas: Aprender com que frequência as ferramentas são usadas e com que frequência elas são bem-sucedidas pode ajudá-lo a entender se essas ferramentas são úteis e bem-sucedidas.
  • Utilização da origem de conhecimento: saiba com que frequência as origens de conhecimento individuais são usadas e com que frequência o agente devolveu erros.

Para alterar o intervalo de tempo, selecione o menu suspenso de intervalo na parte superior da página Análise. Você pode visualizar análises de sessões que ocorreram nos últimos 90 dias.

Captura de ecrã da localização do seletor de intervalo de tempo.

Resultados da execução

A secção Resultados da execução mostra um gráfico que monitoriza o tipo de resultado de cada sessão.

Para baixar dados de resultados de execução (dados visualizados no gráfico), selecione o ícone do menu e selecione Baixar CSV.

Também pode ver um detalhe sobre a duração de cada sessão. Selecione Ver detalhes no gráfico Resultados da execução. Abre-se um painel lateral que exibe a duração média das execuções bem-sucedidas e das sessões falhadas, e mostra como a duração das sessões mudou ao longo do tempo.

Captura de ecrã do painel de resultados.

Longas durações de sessão podem causar atrasos nos fluxos de trabalho dos quais seu agente faz parte. Você pode melhorar a velocidade do seu agente fornecendo instruções mais específicas no nível do gatilho ou do agente.

Utilização do acionador

A secção Utilização de acionadores mostra um gráfico e métricas que monitorizam com que frequência cada acionador iniciou uma sessão. O gráfico mostra a mudança no uso do gatilho ao longo do tempo.

Selecione Ver detalhes para exibir um detalhamento de todos os gatilhos usados durante o período de tempo selecionado, os eventos mais comuns que dispararam uma execução e quais eventos resultaram na maioria das execuções com falha.

Captura de ecrã do painel de utilização do gatilho.

Pode utilizar esta informação para concentrar-se em execuções específicas para melhorias e compreender a que tipos de eventos os seus agentes respondem mais frequentemente.

Utilização da ferramenta

A seção Uso da ferramenta mostra um gráfico e métricas que controlam a frequência com que suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com êxito. Também mostra indicadores de tendência sobre a frequência com que o seu agente usa cada ferramenta e a percentagem de ferramentas chamadas que são usadas com sucesso.

O gráfico apresenta as cinco principais ferramentas usadas no período de datas definido na parte superior da página Análise.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das ferramentas para realçar essa ferramenta no gráfico.

Captura de ecrã do gráfico de utilização de ferramentas com uma única ferramenta realçada.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel de Utilização de ferramentas, pode apresentar cálculos da percentagem de perguntas utilizadas para cada ferramenta. Se o seu agente tiver agentes subordinados, pode optar por apresentar os cálculos tanto para o agente principal como para os agentes subordinados (Tudo), apenas para o Agente principal ou apenas para o Agente subordinado.

Captura de ecrã do gráfico e métricas de utilização da ferramenta.

Captura de ecrã do painel de utilização da ferramenta destacando a filtragem por tipo de agente.

Utilização da origem de conhecimento

A secção Utilização da origem de conhecimento mostra um gráfico e métricas que controlam a frequência com que as suas origens de conhecimento são usadas pelo agente. Também mostra indicadores de tendência de com que frequência são utilizadas as suas origens, quantos erros estão a ser gerados e quantas vezes a origem está a ser utilizada.

O gráfico apresenta as cinco principais origens de conhecimento usadas no intervalo de datas definido na parte superior da página Análise.

Captura de ecrã do gráfico e das métricas de utilização de conhecimentos.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das fontes de conhecimento para realçar essa fonte de conhecimento no gráfico.

Captura de ecrã do gráfico de utilização da fonte de conhecimento com uma única fonte de conhecimento realçada.

Selecione Ver detalhes para abrir um painel lateral com o utilização de origens de conhecimento e as taxas de erro durante o período selecionado. Você pode usar esses gráficos para identificar quais fontes de conhecimento funcionam bem para ajudar os usuários e quais direcionar para melhorias.

No painel lateral, selecione Todos para mostrar métricas tanto para o agente principal como para agentes subordinados, Agente principal para métricas apenas sobre o agente principal, ou Agente subordinado para métricas apenas sobre agentes subordinados.

Captura de ecrã do painel lateral de Utilização da fonte de conhecimento, que realça a filtragem por tipo de agente.

  • Todas as origens mostra a percentagem de sessões que utilizaram todas as origens de conhecimento às quais o agente tem acesso.
  • Erros mostra a percentagem de sessões que utilizaram cada tipo de origem de conhecimento (por exemplo, SharePoint) que resultou num erro.

Em Todas as fontes, para ver mais informações ao nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A dica de ferramenta inclui:

  • O número total de perguntas que referenciavam esta fonte de conhecimento, bem como o número de reações de polegar para cima e polegar para baixo.
  • Um gráfico de barras empilhadas que mostra a desagregação dos pesos relativos atribuídos à qualidade das respostas em perguntas que fazem referência a esta fonte de conhecimento. Passe o rato sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas amostradas para chegar a esse valor.

Captura de ecrã dos pesos relativos da qualidade da resposta para uma dada fonte de conhecimento, mostrando uma dica de ferramenta para um valor de qualidade.

  • Last updated on