Optimiser les coûts et les performances du modèle

Lorsque vos coûts de modèle ou d’agent commencent à augmenter, utilisez Ask AI (aperçu) pour diagnostiquer rapidement les problèmes, prendre des mesures et vérifier les améliorations. Ask AI est un assistant de conversation intégré auquel vous pouvez accéder à partir de la barre d'outils du portail Microsoft Foundry. Pour plus d'informations sur les fonctionnalités et limitations d'Ask AI, consultez Ask AI pour de l'aide (aperçu).

Dans cet article, vous identifiez les pics de coûts, basculez vers un modèle économique et validez les améliorations des performances à l’aide du portail Foundry.

Note

Lorsque vous demandez à l’IA de réaliser des tâches qui modifient vos ressources Azure, telles que le déploiement d’un modèle ou la modification d’un déploiement, l’IA vous proposera des actions à examiner et à approuver avant de les exécuter. Vous pouvez configurer les paramètres d'approbation en sélectionnant l'icône des paramètres dans la conversation d'invite 'Demander à l’IA'. Pour plus d’informations, consultez Demander de l’aide à l’IA (préversion).

Conditions préalables

  • Autorisations suivantes :

  • Application Insights configuré pour votre projet Foundry. Pour plus d’informations, consultez Configurer la surveillance.

  • Au moins un agent déployé ou publié avec des données de coût. Pour une analyse significative des tendances, vous avez besoin d’un minimum de sept jours de données d’utilisation.

  • L’agent Ask AI activé dans votre projet Foundry. Il est disponible en préversion dans la barre d’outils du portail Foundry. Si vous ne le voyez pas, vérifiez que votre projet se trouve dans une région prise en charge et que votre administrateur n’a pas désactivé la fonctionnalité.

  • Jeu de données d’évaluation qui représente la charge de travail classique de votre agent. Utilisez ce jeu de données pour comparer les performances du modèle après avoir changé de modèle.

Détecter les augmentations de coûts

Commencez par ouvrir l’agent Ask AI à partir de la barre d’outils. Ou, accédez à Exploitation>Vue d’ensemble pour utiliser l’une des invites prédéfinies spécifiques à l’optimisation et aux performances de l’agent.

Demandez à l’assistant de fournir un résumé de vos métriques et données de coût à partir du tableau de bord du plan de contrôle Foundry. Vous pouvez sélectionner une invite prédéfinie dans le volet Vue d’ensemble ou taper votre propre question, par exemple :

  • « Résumez ma tendance récente des coûts. »

  • « Quels agents ont contribué le plus à ma hausse des coûts ? »

L’agent Ask AI génère un résumé qui met en évidence les principaux facteurs de coût, tels que l’utilisation élevée des jetons, la longueur d’achèvement plus longue ou les exécutions d’évaluation fréquentes. Le résumé comprend des liens annotés vers les graphiques de tableau de bord pour une inspection plus approfondie.

Examiner les agents à coût élevé

Après avoir examiné le résumé, vous pouvez explorer des insights détaillés pour des agents spécifiques en demandant :

  • « Afficher les détails des coûts et des performances pour [nom de l’agent]. »

  • « Décomposez les coûts par modèle ou déploiement pour cet agent. »

Vous pouvez également sélectionner Ressources dans le volet gauche. Ensuite, sélectionnez Afficher les détails de l’agent pour afficher le volet Ressources . Là, vous pouvez comparer vos agents en termes de coût et d'utilisation des jetons, et identifier l'agent le plus coûteux.

Passer à un modèle économique

Lorsque vous identifiez un modèle comme facteur de coût, utilisez l'outil IA pour trouver une solution plus économique.

  1. Dans Demander à l’IA, entrez une invite telle que « Recommander un modèle moins cher avec des performances similaires » ou « Comparer les coûts et la qualité pour les modèles similaires à [modèle actuel]. »

  2. Passez en revue la réponse. Demandez à l’IA de recommander d’autres modèles à partir du catalogue de modèles avec des comparaisons de performances et de coûts. Passez en revue les recommandations et sélectionnez un modèle qui répond à vos besoins.

  3. Déployez le nouveau modèle. Demandez à l’IA de lancer le déploiement directement dans la conversation ou de fournir un lien vers la page de déploiement. Vous pouvez également déployer manuellement. Pour obtenir des étapes de déploiement détaillées, consultez Deploy Microsoft Foundry Models in the Foundry portal or Deploy models using Azure CLI and Bicep.

  4. Une fois le déploiement terminé, vérifiez que le nouveau modèle apparaît dans la liste de déploiement de votre agent avec un état Réussi .

Conseil

Si l’option Demander à l’IA n’est pas disponible, comparez les modèles à l’aide du classement des modèles.

Évaluer les différences de coût et de qualité du modèle

Après avoir changé de modèle, comparez les anciens et nouveaux modèles en exécutant une évaluation.

  1. Dans Demander à l’IA, entrez une invite telle que « Je souhaite évaluer et comparer l’ancien et le nouveau modèle ».

  2. Suivez les instructions fournies par Ask AI. Pour créer des exécutions de test, accédez à la section des évaluations de votre projet.

  3. Créez deux exécutions d’évaluation : une pour le modèle d’origine et une pour le nouveau modèle.

  4. Attendez que les deux sessions d’évaluation se terminent. Accédez à Vued’ensemble de > ou à l’historique d’évaluation de votre projet pour comparer les résultats côte à côte.

  5. Recherchez les différences entre les scores de qualité, la latence et le coût par jeton. Dans l’historique d’évaluation, vérifiez que les deux lancements affichent un état terminé avec des scores pour chaque métrique.

    Métriques clés à comparer :

    • Fondement : comment les réponses sont ancrées dans les données sources
    • Pertinence : comment les réponses pertinentes sont apportées à la requête
    • Cohérence — la logique de la cohérence des réponses
    • Latence : temps de réponse pour le modèle
    • Coût par jeton : l’efficacité du coût du modèle

    Concentrez-vous sur les métriques qui s’alignent sur les exigences de qualité de votre agent.

Mettre à jour le déploiement du modèle de votre agent

Lorsque vous confirmez que le nouveau modèle répond à vos besoins en matière de coût et de performances, mettez à jour l’agent pour l’utiliser.

  1. Dans le portail Foundry, accédez à Build>Agents.

  2. Sélectionnez l’agent que vous souhaitez mettre à jour.

  3. Remplacez le modèle par le nouveau déploiement.

  4. Testez l’agent pour vérifier qu’il répond correctement avec le nouveau modèle.

  5. Dans la page des détails de l’agent, sélectionnez Enregistrer pour créer une nouvelle version. Vérifiez que le numéro de version est incrémenté et que le nom du modèle reflète le nouveau déploiement.

Après avoir vérifié que le nouveau modèle fonctionne correctement, envisagez de supprimer l’ancien déploiement de modèle pour éviter les coûts en cours.

Suivre les améliorations des coûts et des performances

Pour vérifier les améliorations après le changement de modèle, vérifiez les données de coût les plus récentes.

  1. Ouvrir Ask AI à partir de la barre d’outils.

  2. Entrez une invite telle que « Affichez le résumé des données les plus récentes sur le coût ».

  3. Passez en revue le résumé. Demandez à l’IA d’afficher les données de coût et de performances disponibles sur les pages Vue>d’ensemble et Surveiller des opérations, y compris les métriques d’évaluation continue affichées ici. Le résumé met en évidence les changements de tendance des coûts par rapport à la période précédente.

Utilisez régulièrement ce flux de travail pour surveiller l’efficacité et le retour sur investissement.

Résoudre les problèmes courants

Problème Cause Résolution
Aucune donnée de coût n’apparaît dans le résumé Application Insights n’est pas configuré pour le projet. Configurez la surveillance de votre projet Foundry.
"Ask AI ne répond pas aux requêtes" La fonctionnalité peut être temporairement indisponible, ou l’invite peut être trop vague. Essayez une invite plus spécifique ou utilisez directement le volet Vue d’opération>d’ensemble.
Demander l’approbation à l’IA avant d’agir Demander à Ask AI de proposer des actions à réviser avant de modifier les ressources Azure. Passez en revue l’action proposée et sélectionnez Approuver pour continuer. Pour configurer les paramètres de pré-approbation, sélectionnez l’icône paramètres dans le chat d'invite "Demander à l’IA".
Aucun autre modèle n’est recommandé Le modèle actuel peut déjà être l’option la plus rentable, ou le catalogue de modèles n’a pas d’alternatives comparables. Parcourez manuellement le catalogue de modèles Foundry .
Les évaluations ne sont pas terminées Le jeu de données d’évaluation peut être mal configuré ou trop volumineux. Vérifiez la configuration de votre jeu de données d’évaluation. Consultez Exécuter des évaluations à partir du Kit de développement logiciel (SDK).
Les données de coût s’affichent obsolètes ou retardées Les données de facturation Azure peuvent prendre jusqu'à 24 à 48 heures pour se mettre à jour. Les données de télémétrie Application Insights peuvent également avoir un court délai. Attendez que le cycle de facturation se termine et vérifiez à nouveau. Pour les données quasiment en temps réel, utilisez les métriques Application Insights dans le volet Vued’ensemble>.
Le changement de modèle provoque une régression de la qualité Le nouveau modèle peut ne pas fonctionner aussi bien sur votre charge de travail spécifique. Revenez au déploiement du modèle précédent et exécutez des évaluations plus ciblées avant de passer à nouveau.

Contenu connexe

  • Last updated on