Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Estas perguntas frequentes (FAQ) descrevem o efeito da IA das funcionalidades de assistência analítica no Copilot Studio.
Como é que a IA generativa é usada para análise?
O Copilot Studio utiliza IA para medir a qualidade das respostas generativas e para criar clusters. Estes clusters fornecem informações sobre o desempenho dos agentes.
As respostas generativas utilizam fontes de conhecimento que escolhe para gerar uma resposta. A funcionalidade também recolhe quaisquer comentários que forneça. A análise de dados utiliza grandes modelos de linguagem (LLMs) para classificar as mensagens de chat entre utilizadores e agentes em níveis que indicam a qualidade das respostas gerativas. O Copilot Studio compila estes indicadores para lhe dar um resumo do desempenho global de um agente.
O clustering utiliza LLMs para ordenar as mensagens dos utilizadores em grupos com base em assuntos partilhados e fornecer a cada grupo um nome descritivo. O Copilot Studio utiliza os nomes destes clusters para fornecer diferentes tipos de insights que pode usar para melhorar o seu agente.
Qualidade das respostas para respostas generativas
Qual é a utilização pretendida da qualidade da resposta?
Use a qualidade da análise de resposta para descobrir insights sobre o uso e desempenho do agente, e depois crie ações para a melhoria do agente. Atualmente, pode usar análises para perceber se a qualidade das respostas generativas de um agente corresponde às suas expectativas.
Para além da qualidade global, a análise de qualidade da resposta identifica áreas onde um agente tem um desempenho fraco ou não cumpre os seus objetivos pretendidos. Pode definir áreas onde as respostas generativas têm um desempenho fraco e tomar medidas para melhorar a sua qualidade.
Ao identificar baixo desempenho, siga as melhores práticas que possam ajudar a melhorar a qualidade. Por exemplo, depois de identificar fontes de conhecimento com baixo desempenho, pode editar a fonte de conhecimento ou dividi-la em múltiplas fontes mais focadas para aumentar a qualidade.
Que dados são usados para criar análises sobre a qualidade da resposta?
A qualidade da análise das respostas é calculada usando uma amostra de respostas generativas. Requer a consulta do utilizador, a resposta do agente e as fontes de conhecimento relevantes que o modelo generativo utiliza para a resposta generativa.
A análise de qualidade da resposta usa essa informação para avaliar se a qualidade da resposta generativa é boa e, se não, porque é que a qualidade é fraca. Por exemplo, a qualidade da resposta pode identificar respostas incompletas, irrelevantes ou não totalmente fundamentadas.
Quais são as limitações da qualidade das análises de resposta e como podem os utilizadores minimizar o impacto dessas limitações?
A análise de qualidade da resposta não utiliza todas as respostas generativas. Em vez disso, a análise mede uma amostra de sessões de utilizador-agente. Agentes com um número de respostas generativas bem-sucedidas inferior ao mínimo não conseguem obter um resumo analítico da qualidade das respostas.
Há casos em que a análise de dados não avalia a resposta individual com precisão. A um nível agregado, deve ser preciso na maioria dos casos.
A análise de qualidade das respostas não fornece uma divisão das consultas específicas que levaram a um desempenho de baixa qualidade. Também não fornecem uma discriminação das fontes de conhecimento comum ou dos tópicos usados quando ocorrem respostas de baixa qualidade.
As análises não são calculadas para respostas que usam conhecimento generativo.
A completude das respostas é uma das métricas usadas para avaliar a qualidade da resposta. Esta métrica mede até que ponto a resposta aborda completamente o conteúdo do documento recuperado.
Se o sistema não recuperar um documento relevante com informação adicional para a pergunta, não avalia a métrica de completude desse documento.
Que proteções existem para a análise de qualidade de resposta no Copilot Studio para IA responsável?
Os utilizadores dos agentes não veem resultados de análise; estão disponíveis apenas para criadores e administradores de agentes.
Os criadores e administradores só podem usar análises de qualidade de resposta para ver a percentagem de respostas de boa qualidade e quaisquer razões pré-definidas para o baixo desempenho. Os criadores só conseguem ver a percentagem de respostas de boa qualidade e predefinir motivos.
Testámos análises para a qualidade das respostas de forma minuciosa durante o desenvolvimento, para garantir um bom desempenho. No entanto, em ocorrências raras, a qualidade das avaliações de resposta pode ser imprecisa.
Análise de sentimento para sessões de conversação
Qual é o uso pretendido da análise de sentimento?
Utilize a análise de sentimento para compreender o nível de satisfação do utilizador nas sessões de conversa, com base numa análise de IA das mensagens do utilizador ao agente. Pode compreender o sentimento geral da sessão (positivo, negativo ou neutro), investigar as razões e tomar medidas para o resolver.
Que dados são usados para definir sentimento numa sessão de conversa?
O Copilot Studio calcula a análise de sentimento com base nas mensagens do utilizador ao agente para um conjunto de sessões de conversação de exemplo.
A análise de sentimento utiliza essa informação para avaliar se a satisfação do utilizador durante a sessão é positiva, negativa ou neutra. Por exemplo, um utilizador pode usar palavras e um tom de voz que indicam frustração ou insatisfação com base na interação com o agente. Neste caso, a sessão é classificada como de sentimento negativo.
Quais são as limitações da análise de sentimento e como podem os utilizadores mitigar essas limitações?
As análises de sentimentos não são calculadas através de todas as sessões de conversação. Em vez disso, a análise mede uma amostra de sessões de utilizador-agente. Agentes que não atinjam um número mínimo de respostas generativas bem-sucedidas diárias não podem receber uma pontuação de sentimento.
Atualmente, a análise de sentimento depende de respostas generativas e exige um número mínimo de respostas diárias bem-sucedidas para calcular a pontuação de sentimento do agente.
Para calcular o sentimento de uma sessão, devem existir pelo menos duas mensagens do utilizador. Além disso, devido a restrições técnicas atuais, a análise de sentimento não é realizada em sessões que ultrapassem um total de 26 mensagens (incluindo mensagens tanto do utilizador como do agente)
A análise de sentimento não fornece uma desagregação das mensagens específicas dos utilizadores que levaram à pontuação de sentimento.
Que proteções existem para a análise de sentimento no Copilot Studio para IA responsável?
Os utilizadores dos agentes não veem resultados de análise; estão disponíveis apenas para criadores e administradores de agentes.
Só poderá usar a análise de sentimento para ver a distribuição dos sentimentos em todas as sessões.
Testámos a análise de sentimento minuciosamente durante o desenvolvimento para garantir um bom desempenho. No entanto, em casos raros, as avaliações de sentimento podem ser imprecisas.
Temas das perguntas dos utilizadores
Qual é a utilização pretendida dos Temas?
Esta funcionalidade analisa automaticamente grandes conjuntos de consultas de utilizadores e agrupa-as em tópicos de alto nível denominados temas. Cada tema representa um único assunto de alto nível sobre o qual os utilizadores fizeram perguntas. Os temas fornecem uma visão não supervisionada e condicionada por dados do conteúdo do utilizador. Esta vista ajuda as equipas a compreender o que mais interessa aos utilizadores sem o passo manual de rever milhares de consultas.
Que dados são utilizados para criar clusters?
A funcionalidade Temas utiliza consultas do utilizador que acionam respostas generativas. Os Temas analisam todas as consultas dos últimos sete dias para gerar novas sugestões de temas.
Os temas utilizam a semelhança semântica para agrupar as consultas. Um modelo de linguagem é então utilizado para gerar o título e a descrição de cada cluster. Os comentários dos utilizadores (como aprovação/desaprovação) também são recolhidos para melhorar a qualidade do agrupamento.
Quais são as limitações do clustering para os Temas e como podem os utilizadores mitigar essas limitações?
O êxito do clustering em temas depende do volume da consulta. Se não houver consultas suficientes ou se estas estiverem demasiado desligadas entre si, o Copilot Studio pode agrupar as consultas em temas demasiado amplos ou demasiado restritos.
Os temas podem, por vezes, dividir tópicos semelhantes ou unir outros não relacionados.
A mudança de linguagem nas consultas pode afetar a consistência dos clusters ao longo do tempo.
Pode rever temas regularmente e dar feedback para melhorar a qualidade dos nomes.
Que proteções para Temas existem no Copilot Studio em termos de IA responsável?
Os temas só são visíveis para criadores e administradores. A moderação de conteúdos é aplicada ao gerar nomes e descrições para reduzir o risco de resultados prejudiciais ou inadequados.
Análise de métricas personalizadas
Qual é a utilização pretendida das métricas personalizadas?
Os makers utilizam análises de métricas personalizadas para perceber até que ponto os seus agentes de conversação afetam os resultados de negócio. Estas métricas complementam a análise de poupança. Exemplos de métricas personalizadas incluem taxa de resolução, classificação da intenção do cliente e outros resultados específicos do domínio.
Métricas personalizadas podem mostrar onde os agentes falham os objetivos pretendidos. Os criadores podem definir o que medir, testar métricas com dados reais de sessão e refinar definições com base nos resultados.
Que dados são usados para calcular métricas personalizadas?
Métricas personalizadas são calculadas usando uma amostra de sessões anteriores com agentes. O cálculo utiliza as mensagens conversacionais trocadas durante uma sessão.
O modelo de IA classifica os dados das sessões com base na definição da tua métrica. O agente agrega os resultados em toda a amostra para mostrar o desempenho global da métrica no período de tempo selecionado.
Quais são as limitações das métricas personalizadas e como podem os utilizadores minimizar o impacto dessas limitações?
Métricas personalizadas não são calculadas usando todas as sessões do agente. Em vez disso, medem uma amostra de sessões do período de tempo selecionado. Como os resultados se baseiam numa amostra, devem ser tratados como indicadores direcionais em vez de números exatos.
Deve considerar que o cálculo das métricas se baseia na transcrição das mensagens ao interpretar métricas. Evite tirar conclusões sobre comportamentos que ocorrem principalmente fora de mensagens, como tópicos e ferramentas.
O modelo de IA pode classificar mal as sessões. Os resultados agregados são geralmente precisos. As sessões que não correspondem a uma categoria definida são colocadas na categoria de reserva (Outros). Se os resultados dos testes não corresponderem aos esperados, pode atualizar a descrição da métrica e as definições das categorias.
Se as instruções ou configuração de um agente forem significativamente alteradas após a definição de uma métrica, esta pode deixar de refletir com precisão o comportamento atualizado do agente. Deves rever as métricas personalizadas deles depois de fazeres alterações substanciais ao agente.
Que proteções existem para métricas personalizadas no Copilot Studio para IA responsável?
Os resultados das métricas personalizadas estão disponíveis apenas para criadores de agentes e administradores. Os utilizadores do agente não têm acesso aos resultados analíticos.
Revise e aprove todas as métricas personalizadas antes de guardar. Durante a definição de métricas, testa métricas com dados de sessões de amostra e revê resultados individuais e raciocínio do modelo. Se os resultados não corresponderem às expectativas, pode atualizar ou descartar a métrica. As métricas não são aplicadas sem a sua confirmação explícita.
O prompt gerado por IA usado para classificar as sessões é visível para si na interface, para que possa perceber como o modelo interpreta a definição da sua métrica. Pode editar ou remover métricas personalizadas a qualquer momento.
Em raras ocasiões, as classificações individuais das sessões podem ser imprecisas. Os resultados devem ser interpretados em conjunto e não ao nível da sessão individual.