Élaborez une stratégie de test pour vos agents

Une stratégie de test bien planifiée réduit le risque d’échec des agents en production. Considérez les tests comme un processus continu tout au long du cycle de vie d’un agent. Créez des tests pour vérifier que les fonctionnalités de base de l’agent fonctionnent comme prévu. Ensuite, validez les changements pour vous assurer qu’ils n’introduisent pas de régressions. Effectuez toujours des tests avant le déploiement en environnement de production et envisagez d’inclure les tests automatisés dans votre pipeline de déploiement.

Une stratégie de test d’agents bien pensée comprend les éléments suivants :

Type de test Description
Essais en temps de développement Tests unitaires de composants individuels pendant la phase de compilation.
Tests de scénarios de base Validez le scénario « happy path » pour la fonctionnalité de l’agent de base afin de confirmer que les résultats sont fiables.
Test des connaissances Évaluez la connaissance de l’agent dans un domaine avec des questions spécifiques.
Tests de régression Retestez les cas de test précédents lorsque des modifications sont apportées pour vous assurer qu’ils fonctionnent toujours comme prévu.
Essais adversariaux Essayez les cas limites, les requêtes à l'intention inconnue ou les fausses informations.
Tests de performance et de charge Simulez des requêtes à grand volume pour évaluer la latence et l’évolutivité tout en surveillant les temps de réponse sous stress. En savoir plus sur Plan et créez un test de performance pour les agents conversationnels.
Tests de sécurité et de conformité Validez le contrôle d’accès basé sur les rôles (RBAC), l’accès conditionnel et l’application des étiquettes de sensibilité tout en veillant à ce qu’aucune donnée confidentielle ne soit divulguée.
Accessibilité et tests UX Vérifiez la clarté, le ton et l’inclusivité dans les réponses et validez les normes multilingues de support et d’accessibilité.

Considérez ces principes généraux pour améliorer la méthodologie globale des tests :

  • Shift-left testing : Commencer tôt pendant le développement et continuer tout au long du déploiement.
  • Itérez et définissez : mettez à jour les cas de test au fur et à mesure que de nouvelles fonctionnalités ou connaissances sont ajoutées.
  • Test avant production : Validez toujours dans un environnement de mise en scène avant la mise en production.
  • Automatiser lorsque possible : intégrer les tests automatisés dans les pipelines CI/CD pour assurer la cohérence.

Évaluer des agents dans Copilot Studio

Dans Copilot Studio, vous pouvez créer un jeu de tests des cas de test pour évaluer les performances de vos agents. Vous pouvez créer manuellement des questions d’examen ou les générer à partir des instructions, capacités et connaissances de l’agent. Vous pouvez même remplir des questions de test à partir de conversations de conversation de test passées dans Copilot Studio.

Les méthodes d’évaluation actuellement incluses dans Copilot Studio sont les suivantes :

  • Méthode de test de correspondance de texte : vérifie si le texte correspond exactement ou contient une correspondance partielle ou des mots ou expressions spécifiques.
  • Méthode du test de similarité : Compare la similarité de la réponse de l’agent à la réponse attendue. Cette méthode est utile lorsqu’il existe plusieurs bonnes façons de formuler la réponse, mais que le sens global reste le même.
  • Méthode de test de qualité : Détermine la qualité générale de la réponse d’un agent en utilisant des critères clés tels que la pertinence, la fondation, la complétude et l’abstention. Ou bien, elle compare la signification de la réponse de l’agent à la réponse attendue pour la similarité d’intention.

Effectuer des tests en bloc à l’aide du kit Copilot Studio

Le kit Copilot Studio Kit inclut une suite d’automatisation de test qui permet aux fabricants de tester la précision de l’agent à grande échelle. Vous pouvez configurer des tests individuels en fournissant l’énoncé utilisateur attendu, la réponse de l’agent, et en sélectionnant un type de test. Vous pouvez regrouper plusieurs tests en ensembles de tests que vous pouvez attribuer à un agent dans le cadre d’une exécution de test.

Le kit Copilot Studio prend actuellement en charge différents types de test, tels que la correspondance de réponse, la correspondance de rubrique et la requête multitour.

Effectuer des vérifications de sécurité et de conformité

  • Stratégie de données et validation RBAC : Vérifiez que les stratégies, rôles et connexions au niveau de l’environnement sont correctement configurées dans l’environnement de production et que les stratégies de données appropriées sont activées.

  • Azure management : Passez en revue et approuvez l’inscription d’applications intégrées, les réseaux virtuels, les clés et les points de terminaison dans Azure pour vos ressources de production.

  • Production des sources de connaissances et des données : Vérifiez que toutes les sources de connaissances de production (par exemple, les bibliothèques SharePoint) et les documents de production sont correctement référencés pour les agents de production, en particulier si vous avez utilisé des éléments différents pendant le développement et les tests.

Étape suivante

Apprenez à empaqueter, versionner et déplacer vos agents de manière fiable à travers les environnements en utilisant des pratiques structurées de gestion du cycle de vie des applications (ALM).

Établir une stratégie de gestion du cycle de vie de l’application

  • Last updated on