Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Ces questions fréquentes (FAQ) décrivent l’effet IA des fonctionnalités d'assistance analytique dans Copilot Studio.
Comment l’IA générative est-elle utilisée pour l’analyse ?
Copilot Studio utilise l’IA pour mesurer la qualité des réponses génératives et créer des clusters. Ces clusters fournissent des insights sur les performances de l’agent.
Les réponses génératives utilisent des sources de connaissances que vous choisissez, pour générer une réponse. La fonctionnalité collecte également tous les commentaires que vous fournissez. L’analytique utilise des modèles de langage volumineux (LLMs) pour classifier les messages de conversation entre les utilisateurs et les agents en niveaux qui indiquent la qualité des réponses de réponse génératives. Copilot Studio compile ces indicateurs pour vous donner un résumé des performances globales d'un agent.
Le clustering utilise des machines virtuelles LLM pour trier les messages des utilisateurs en groupes en fonction des sujets partagés et fournir à chaque groupe un nom descriptif. Copilot Studio utilise les noms de ces clusters pour fournir différents types d’insights que vous pouvez utiliser pour améliorer votre agent.
Qualité des réponses pour les réponses génératives
Quelle est la qualité de l’utilisation prévue de la réponse ?
Utilisez la qualité de l’analytique des réponses pour découvrir des insights sur l’utilisation et les performances de l’agent, puis créez des actions pour améliorer l’agent. Actuellement, vous pouvez utiliser l’analytique pour comprendre si la qualité des réponses génératives d’un agent répond à vos attentes.
En plus de la qualité globale, la qualité de l’analytique des réponses identifie les zones où un agent effectue mal ou ne parvient pas à atteindre vos objectifs prévus. Vous pouvez définir des zones où les réponses génératives s’exécutent mal et prennent des mesures pour améliorer leur qualité.
Lors de l’identification de performances médiocres, suivez les meilleures pratiques qui peuvent aider à améliorer la qualité. Par exemple, après avoir identifié des sources de connaissances avec des performances médiocres, vous pouvez modifier la source de connaissances ou fractionner la source de connaissances en plusieurs sources plus ciblées pour améliorer la qualité.
Quelles données sont utilisées pour créer des analyses pour la qualité de la réponse ?
La qualité de l’analyse des réponses est calculée à l’aide d’un échantillon de réponses génératives. Elle nécessite la requête de l’utilisateur, la réponse de l’agent et les sources de connaissances pertinentes que le modèle générateur utilise pour la réponse générative.
La qualité de l’analytique des réponses utilise ces informations pour évaluer si la qualité de la réponse générative est bonne, et si ce n’est pas le cas, pourquoi la qualité est médiocre. Par exemple, la qualité de la réponse peut identifier les réponses incomplètes, non pertinentes ou non entièrement ancrées.
Quelles sont les limitations de la qualité de l’analytique des réponses et comment les utilisateurs peuvent-ils réduire l’impact de ces limitations ?
La qualité de l'analyse des réponses n'utilise pas toutes les réponses générées. Au lieu de cela, l’analytique mesure un exemple de sessions d’agent utilisateur. Les agents qui ont moins que le nombre minimal de réponses génératives réussies ne peuvent pas recevoir un résumé analytique de la qualité des réponses.
Dans certains cas, l’analyse n’évalue pas précisément une réponse individuelle. Au niveau agrégé, il doit être précis pour la plupart des cas.
L’analyse de la qualité des réponses ne fournit pas de ventilation des requêtes spécifiques ayant conduit à une performance de faible qualité. Ils ne fournissent pas non plus de répartition des sources de connaissances courantes ou des sujets utilisés lorsque des réponses de faible qualité se produisent.
Les analyses ne sont pas calculées pour les réponses qui utilisent des connaissances génératives.
La complétude des réponses est l’un des indicateurs utilisés pour évaluer la qualité des réponses. Cette mesure mesure à quel point la réponse traite pleinement le contenu du document récupéré.
Si le système ne récupère pas un document pertinent contenant des informations supplémentaires pour la question, il n’évalue pas la métrique de complétude de ce document.
Quelles sont les protections en place pour la qualité de l’analytique des réponses dans Copilot Studio pour l’IA responsable ?
Les utilisateurs des assistants ne voient pas les résultats d’analyse ; ils sont disponibles uniquement pour les créateurs d’assistants et les administrateurs.
Les décideurs et les administrateurs peuvent uniquement utiliser la qualité de l’analyse des réponses pour voir le pourcentage de réponses de bonne qualité et toutes les raisons prédéfinies de performances médiocres. Les fabricants ne peuvent voir que le pourcentage de réponses de bonne qualité et des raisons prédéfinies.
Nous avons testé l’analyse pour la qualité des réponses minutieusement pendant le développement afin de garantir de bonnes performances. Cependant, dans de rares cas, la qualité des évaluations de la réponse peut être inexacte.
Analyse du sentiment pour les sessions de conversation
Quel est l’usage prévu de l’analyse de sentiment ?
Utilisez l’analyse des sentiments pour comprendre le niveau de satisfaction des utilisateurs dans les sessions de conversation en fonction d’une analyse IA des messages utilisateur à l’agent. Vous pouvez comprendre le sentiment global de la session (positif, négatif ou neutre), examiner les raisons et prendre des mesures pour y remédier.
Quelles données sont utilisées pour définir le sentiment lors d’une séance de conversation ?
Copilot Studio calcule l’analyse des sentiments en fonction des messages utilisateur à l’agent pour un exemple de sessions conversationnelles.
L’analyse du sentiment utilise ces informations pour évaluer si la satisfaction de l’utilisateur pendant la session est positive, négative ou neutre. Par exemple, un utilisateur peut utiliser des mots et un ton de voix indiquant une frustration ou un insatisfaction en fonction de l’interaction avec l’agent. Dans ce cas, la session est classée comme un sentiment négatif.
Quelles sont les limites de l’analyse de sentiment, et comment les utilisateurs peuvent-ils compenser ces limitations ?
Les analyses de sentiment ne sont pas calculées en utilisant toutes les séances de conversation. Au lieu de cela, l’analytique mesure un exemple de sessions d’agent utilisateur. Les agents en dessous d’un nombre minimum de réponses génératives réussies quotidiennes ne peuvent pas recevoir de score de sentiment.
L’analyse de sentiment dépend actuellement des réponses génératives et nécessite un nombre minimum de réponses réussies quotidiennement pour calculer le score de sentiment de l’agent.
Pour calculer le sentiment d’une session, il doit y avoir au moins deux messages utilisateurs. De plus, en raison des contraintes techniques actuelles, l’analyse de sentiment n’est pas réalisée sur des sessions dépassant un total de 26 messages (y compris les messages utilisateurs et agents)
L’analyse du sentiment ne fournit pas de détail des messages spécifiques des utilisateurs ayant conduit au score de sentiment.
Quelles sont les protections en place pour l’analyse des sentiments dans Copilot Studio pour l’IA responsable ?
Les utilisateurs des assistants ne voient pas les résultats d’analyse ; ils sont disponibles uniquement pour les créateurs d’assistants et les administrateurs.
Vous pouvez uniquement utiliser l’analyse des sentiments pour voir la répartition des sentiments entre toutes les sessions.
Nous avons testé l’analyse de sentiment de manière approfondie pendant le développement pour garantir de bonnes performances. Cependant, dans de rares cas, les évaluations de sentiment peuvent être inexactes.
Thèmes des questions des utilisateurs
Quelle est l’utilisation prévue des thèmes ?
Cette fonctionnalité analyse automatiquement de grands ensembles de requêtes utilisateur et les regroupe dans des rubriques générales appelées thèmes. Chaque thème représente un sujet général unique abordé par les utilisateurs. Les thèmes fournissent une vue non supervisée et pilotée par les données du contenu utilisateur. Cette vue aide les équipes à comprendre ce qui importe le plus aux utilisateurs, sans avoir à examiner manuellement des milliers de requêtes.
Quelles données sont utilisées pour créer des clusters ?
La fonctionnalité Thèmes utilise des requêtes utilisateur qui déclenchent des réponses génératives. Les thèmes analysent toutes les requêtes des sept derniers jours pour générer de nouveaux thèmes suggérés.
Les thèmes utilisent la similarité sémantique pour les requêtes de groupe. Un modèle de langage est ensuite utilisé pour générer le titre et la description de chaque cluster. Les avis des utilisateurs (comme les votes pour ou contre) sont également collectés afin d'améliorer la qualité du regroupement.
Quelles sont les limitations du clustering pour les thèmes et comment les utilisateurs peuvent-ils atténuer ces limitations ?
Le clustering réussi en thèmes dépend du volume de requêtes. S’il n’y a pas suffisamment de requêtes ou si les requêtes ne sont pas liées les unes aux autres, Copilot Studio peut regrouper des requêtes dans des thèmes trop larges ou trop étroits.
Les thèmes peuvent parfois fractionner des rubriques similaires ou fusionner des rubriques non liées.
L’évolution du langage dans les requêtes peut affecter la cohérence des regroupements (clusters) au fil du temps.
Vous pouvez passer en revue régulièrement les thèmes et fournir des commentaires pour améliorer la qualité du nommage.
Quelles sont les protections pour les thèmes en place dans Copilot Studio en termes d’IA responsable ?
Les thèmes ne sont visibles que par les créateurs et les administrateurs. La modération de contenu est appliquée lors de la génération des noms et des descriptions afin de réduire le risque de sorties nuisibles ou inappropriées.
Analytique des métriques personnalisées
Quelle est l’utilisation prévue des métriques personnalisées ?
Les créateurs utilisent l’analytique des métriques personnalisées pour comprendre comment leurs agents conversationnels influencent les résultats commerciaux. Ces métriques complètent l’analytique des économies. Parmi les exemples de métriques personnalisées, citons le taux de résolution, la classification des intentions client et d’autres résultats spécifiques au domaine.
Les métriques personnalisées peuvent montrer où les agents manquent les objectifs prévus. Les créateurs peuvent définir ce qu’il faut mesurer, tester les métriques par rapport aux données de session réelles et affiner les définitions en fonction des résultats.
Quelles données sont utilisées pour calculer des métriques personnalisées ?
Les métriques personnalisées sont calculées à l’aide d’un exemple de sessions d’agent passées. Le calcul utilise les messages conversationnels échangés pendant une session.
Le modèle IA classifie les données de session en fonction de la définition de votre métrique. L’agent agrège les résultats à partir de l'échantillon pour afficher la performance globale des métriques pour la période sélectionnée.
Quelles sont les limitations des métriques personnalisées et comment les utilisateurs peuvent-ils réduire l’impact des limitations ?
Les métriques personnalisées ne sont pas calculées à l’aide de toutes les sessions d’agent. Au lieu de cela, ils mesurent un échantillon de sessions à partir de la période sélectionnée. Étant donné que les résultats sont basés sur un échantillon, ils doivent être traités comme des indicateurs directionnels plutôt que des chiffres exacts.
Vous devez considérer que le calcul des métriques est basé sur la transcription des messages lors de l’interprétation des métriques. Évitez de tirer des conclusions sur les comportements qui se produisent principalement en dehors des messages, tels que des rubriques et des outils.
Le modèle IA peut mal classer les sessions. Les résultats agrégés sont généralement précis. Les sessions qui ne correspondent pas à une catégorie définie sont placées dans la catégorie de secours (Autre). Si les résultats des tests ne correspondent pas aux résultats attendus, vous pouvez mettre à jour la description des métriques et les définitions de catégorie.
Si les instructions ou la configuration d’un agent sont considérablement modifiées après la définition d’une métrique, la métrique peut ne plus refléter avec précision le comportement mis à jour de l’agent. Vous devez passer en revue leurs métriques personnalisées après avoir apporté des modifications importantes à l’agent.
Quelles sont les protections en place pour les métriques personnalisées dans Copilot Studio pour l’IA responsable ?
Les résultats des métriques personnalisées sont disponibles uniquement pour les créateurs d’agents et les administrateurs. Les utilisateurs de l’agent n’ont pas accès aux résultats d’analyse.
Passez en revue et approuvez toutes les métriques personnalisées avant d’enregistrer. Pendant la définition de métrique, testez les métriques par rapport aux exemples de données de session et passez en revue les résultats individuels et le raisonnement du modèle. Si les résultats ne répondent pas aux attentes, vous pouvez mettre à jour ou ignorer la métrique. Les métriques ne sont pas appliquées sans votre confirmation explicite.
L’invite générée par l’IA utilisée pour classifier les sessions est visible pour vous dans l’interface utilisateur. Vous pouvez donc comprendre comment le modèle interprète votre définition de métrique. Vous pouvez modifier ou supprimer des métriques personnalisées à tout moment.
Dans de rares cas, les classifications de session individuelles peuvent être inexactes. Les résultats doivent être interprétés dans l’agrégat plutôt qu’au niveau de la session individuelle.