Créer et gérer des rubriques d’évaluation dans Copilot Studio Kit

La gestion des rubriques fournit une interface centralisée permettant de créer, d’afficher, de modifier, de dupliquer et de supprimer des rubriques d’évaluation. Les rubriques sont des ressources réutilisables qui définissent des normes de qualité pour l’évaluation des réponses générées par l’IA.

Gestion des rubriques d’accès

Pour afficher et gérer vos rubriques, accédez à l’interface de gestion des rubriques dans Copilot Studio Kit.

L’affichage liste affiche toutes les rubriques disponibles avec des informations clés, notamment :

• Nom de la rubrique
• Description
• Dates de création et de modification
• Actions rapides (Modifier, Dupliquer, Supprimer)

Créer une nouvelle rubrique

Une rubrique se compose de trois composants principaux :

• Description : description claire des normes de qualité et des attentes. Cette description doit indiquer « à quoi ressemble une bonne réponse » pour votre cas d’usage spécifique.
• Définitions de grade : critères détaillés pour chaque niveau de grade sur une échelle de 5 points.
• Exemples facultatifs : exemples de bonnes et mauvaises réponses pour illustrer les normes.

Étape 1 : Définir « À quoi ressemble une bonne réponse »

Commencez par décrire clairement ce qui rend une réponse de haute qualité pour votre cas d’usage spécifique. Cette description doit :

• Correspondre à vos normes de domaine et d’organisation
• Concentrez-vous sur les attributs de qualité clés tels que la précision, l’exhaustivité et le ton
• Fournir un contexte pour ce que l’IA doit évaluer
• Utiliser une langue claire et non ambiguë

Par exemple, si vous créez une grille d'évaluation pour évaluer les rapports de relations avec les investisseurs (IR), votre description de « à quoi ressemble une bonne réponse » pourrait être :

A good response is detailed, accurate, and follows our IR (Investor Relations)
communication standards. It includes relevant metrics, explains business drivers,
maintains a professional tone, and provides meaningful context without unnecessary jargon.

Étape 2 : Configurer des définitions de niveau

Définissez ce que signifie chaque niveau de grade pour votre rubrique. Le système utilise une échelle de 5 points standard :

Pour chaque niveau de grade, fournissez des critères détaillés qui :

• Sont objectifs et mesurables : Évitez les termes subjectifs. Utilisez des indicateurs concrets.
• S’appuyer les uns sur les autres : la classe 4 doit être similaire à 5, mais avec des lacunes mineures. La classe 3 devrait être nettement moins complète que 4.
• Répondre à plusieurs dimensions : envisagez la précision, l’exhaustivité, le ton, la structure et la pertinence.
• Sont spécifiques à votre cas d’usage : personnalisez les descriptions de votre domaine (rapports d’intégration, résumés informatiques, service à la clientèle).

Exemple pour la classe 5 (exemplaire) :

The response:
* Fully satisfies the expectations of an IR report
* Well-structured, polished, and investor-ready
* Includes all major elements: KPIs, performance drivers, commentary, forward-looking insights, and strategic context
* Tone is professional, consistent with corporate IR voice
* Narrative flows logically with crisp, concise explanations
* No irrelevant details; high investor usefulness

Exemple pour la classe 3 (acceptable) :

The response:
* Communicates correct and sensible content but lacks depth or polish
* Missing one or two key IR elements (e.g., context for results, drivers, or risks)
* Narrative may feel mechanical or generic
* Tone is acceptable but not as polished or investor-friendly
* Provides basic information but limited insight

Étape 3 : Ajouter des exemples facultatifs

Des exemples améliorent considérablement la qualité de la rubrique en fournissant des illustrations concrètes de bonnes et mauvaises réponses. Ajoutez des exemples de deux façons :

• Lors de la création initiale de la rubrique : ajoutez manuellement des exemples si vous avez des cas représentatifs.
• Pendant l’affinement de la rubrique : marquez les cas de test comme exemples, comme décrit dans le flux de travail d’affinement de la rubrique.

De bons exemples doivent inclure :

• Énoncé de test : Ce que l’utilisateur a demandé
• Réponse de l’agent : ce que l’agent a répondu
• Exemple de désignation : Qu’il s’agisse d’un « bon exemple » ou d’un « exemple incorrect »
• Contexte : Pourquoi cet exemple représente une bonne ou mauvaise qualité

Étape 4 : Enregistrer la rubrique

Donnez à votre rubrique un nom descriptif qui indique :

• Cas d’usage ou domaine, tel que « Rapport sur les relations des investisseurs »
• Version ou itération, telle que « Rapport ir v2 »
• L’évaluation se concentre si elle est spécialisée, par exemple « Tonalité et évaluation de style »

Afficher les rubriques

L’interface fournit deux vues principales pour les rubriques : une vue de liste pour la navigation et une vue détaillée pour les informations détaillées.

Vue de liste

L’affichage liste fournit une vue d’ensemble de toutes les rubriques :

• Rechercher et filtrer : recherchez rapidement des rubriques spécifiques.
• Options de tri : Ordre par nom ou date.
• Aperçu rapide : consultez les extraits de description sans ouvrir de détails complets.

Affichage des détails

Sélectionnez n’importe quelle rubrique pour ouvrir l’affichage détaillé, qui montre :

• Onglet Général:
  • À quoi ressemble une bonne réponse
  • Définitions de grade complètes
• Onglet Exemples : Exemples corrects et incorrects avec un contexte complet
• Onglet Enregistrements de test : cas de test où cette rubrique est affectée
• Onglet Administrateur : Champs système dans lesquels vous pouvez rendre une rubrique active ou inactive
• Barre de commandes : Modifier, dupliquer et supprimer des options
• Onglet associé : Jeux de tests et exécutions de test à l’aide de cette rubrique

Modifier les rubriques

Pour modifier une rubrique existante :

1. Ouvrez la rubrique en mode détail.
2. Cliquez sur Modifier dans la barre de commandes.
3. Modifiez n’importe quel composant :
   • Mettre à jour la description de Ce à quoi ressemble une bonne réponse
   • Affiner les définitions de grade
   • Ajouter, modifier ou supprimer des exemples
4. Enregistrez vos modifications.

Rubriques dupliquées

La duplication est utile pour :

• Création de variantes : tester différents critères d’évaluation tout en préservant la rubrique d’origine
• Contrôle de version : gérer un historique des itérations de rubriques
• Création de modèles : commencez à partir d’une rubrique existante et personnalisez-la pour un nouveau cas d’usage

Pour dupliquer une rubrique :

1. Sélectionnez la rubrique à dupliquer.
2. Sélectionnez Rubric dupliqué dans la barre de commandes.
3. Fournissez un nouveau nom pour la rubrique dupliquée.
4. Modifiez la rubrique selon les besoins pour personnaliser la nouvelle rubrique.

Supprimer les rubriques

Pour supprimer une rubrique :

1. Sélectionnez la rubrique à supprimer.
2. Sélectionnez Supprimer dans la barre de commandes.
3. Quand vous y êtes invité, confirmez la suppression.

Pratiques de conception de la rubrique

Les meilleures pratiques pour concevoir des rubriques efficaces sont les suivantes :

• Commencez de façon spécifique, et non générique.
• Utilisez des critères observables et mesurables.
• Résolvez plusieurs dimensions de qualité.
• Itérer en fonction du mauvais alignement.
• Conservez les descriptions concises, mais complètes.
• Considérez vos évaluateurs.
• Documentez l’argument « Pourquoi » derrière les normes.

Apprenez-en davantage sur les meilleures pratiques et les conseils pour l’affinement des rubriques.

Commencez par le spécifique, plutôt que le générique.

Écrivez des rubriques pour un cas d’usage spécifique plutôt que d’essayer de créer une rubrique universelle. Les rubriques spécifiques au domaine produisent un meilleur alignement.

Trop générique :

• 5 = Bonne réponse
• 3 = Réponse ok
• 1 = Réponse incorrecte

Cas d’usage spécifique :

• 5 = Rapport professionnel de qualité IR avec indicateurs de performance clés (KPI), facteurs et perspectives futures.
• 3 = Informations IR de base présentes mais manquent de profondeur ou de finesse adaptée aux investisseurs.
• 1 = Éléments clés des relations investisseurs manquants ; ton inapproprié pour les communications destinées aux investisseurs

Utiliser des critères observables et mesurables

Évitez les termes subjectifs. Concentrez-vous sur des indicateurs concrets que les humains et l’IA peuvent évaluer de manière cohérente.

Subjectif :

• 5 = C'est juste et semble bien

Observable :

• 5 = Inclut toutes les métriques requises, utilise le ton professionnel, suit le format structuré, fournit un contexte pour tous les points de données

Traiter plusieurs dimensions de qualité

Considérez différents aspects de la qualité pertinents pour votre cas d’usage :

• Précision : Les informations sont-ils correctes ?
• Complétivité : tous les éléments nécessaires sont-ils inclus ?
• Pertinence : Traite-t-il de la requête spécifique ?
• Ton : Le style convient-il au public ?
• Clarté : Est-ce facile à comprendre ?
• Structure : Est-ce bien organisé ?
• Fondement : est-ce étayé par des sources ?

Itérer en fonction des désalignements

Votre grille d'évaluation initiale ne sera pas parfaite. Utilisez le flux de travail d’affinement pour :

• Identifiez les schémas de non-alignement.
• Ajoutez des exemples qui clarifient les cas limites.
• Affinez les descriptions en fonction de la confusion observée.
• Testez et retestez jusqu’à ce que l’alignement s’améliore.

Conserver les descriptions concises, mais complètes

Chaque définition de classe doit être suffisamment détaillée pour guider le jugement, mais suffisamment concise pour être rapidement comprise :

• Utilisez des points à puces pour plus de clarté.
• Mettez en avant les critères les plus importants.
• Incluez trois à six indicateurs clés par niveau de grade.
• Évitez la redondance entre les niveaux de niveau.

Considérez vos évaluateurs

Écrivez les rubriques avec les deux audiences à l’esprit :

• Juges de l’IA : Utilisez des critères clairs, non ambigus et concrets.
• Évaluateurs humains : fournissez un contexte et des exemples pour appliquer un jugement cohérent.

Documentez le « pourquoi » derrière les normes

Incluez la justification des normes de qualité lorsqu’il aide. Par exemple:

Tone is professional and consistent with corporate IR voice because investor
communications must maintain credibility and trust. Casual or marketing-like
language undermines confidence in financial reporting.

Exemples de rubriques

Pour obtenir des exemples complets de rubriques bien conçues, consultez le guide de référence des rubriques, qui comprend :

• Rapport sur les relations des investisseurs
• Rapports d'entreprise/génération de rapport de situation
• Thèmes et critères d’évaluation

Étape suivante