Modèles de classements dans Microsoft portail Foundry (préversion)

Dans le portail Foundry (en préversion), les classements de modèles vous aident à comparer des modèles dans le catalogue de modèles de Foundry en utilisant des benchmarks reconnus comme standards par l'industrie.

Pour commencer, comparez et sélectionnez des modèles à l’aide du classement des modèles dans le portail Foundry.

Vous pouvez passer en revue la méthodologie d’évaluation détaillée pour chaque catégorie de classement :

• Évaluation de la qualité des modèles de langage pour comprendre comment les modèles fonctionnent bien sur les tâches principales, notamment le raisonnement, les connaissances, la réponse aux questions, les mathématiques et le codage.
• Évaluation de la sécurité des modèles linguistiques pour comprendre comment les modèles sûrs sont contre la génération de comportements nuisibles.
• Analyse des performances des modèles de langage pour comprendre comment les modèles s’exécutent en termes de latence et de débit.
• Évaluation des coûts des modèles linguistiques pour comprendre le coût estimé de l’utilisation de modèles.
• Évaluation comparative des modèles linguistiques dans le classement des scénarios pour vous aider à identifier le meilleur modèle pour votre cas d'usage ou scénario spécifique.
• Évaluation de la qualité des modèles incorporés pour comprendre comment les modèles fonctionnent correctement sur les tâches basées sur l’incorporation, notamment la recherche et la récupération.

Lorsque vous trouvez un modèle approprié, vous pouvez ouvrir ses résultats d’évaluation détaillés dans le catalogue de modèles. À partir de là, vous pouvez déployer le modèle, l’essayer dans le terrain de jeu ou l’évaluer sur vos propres données. Les classements prennent en charge l'évaluation des modèles de langage textuel, y compris les grands modèles de langage (LLMs), les petits modèles de langage (SLMs) et les modèles d'intégration.

Les benchmarks de modèle évaluent les LLMs et les SLMs en termes de qualité, de sécurité, de coût et de débit. Les modèles d’incorporation sont évalués à l’aide de benchmarks de qualité standard. Les classements sont mis à jour à mesure que de nouveaux modèles et jeux de données de référence deviennent disponibles.

Étendue de l’évaluation du modèle

Les classements de modèles présentent une sélection organisée de modèles linguistiques basés sur du texte à partir du catalogue de modèles Foundry. Les modèles sont inclus en fonction des critères suivants :

• Azure Modèles directs hiérarchisés : Azure Modèles directs sont sélectionnés pour la pertinence des scénarios d’IA générative courants.
• Applicabilité de référence de base : les modèles doivent prendre en charge des tâches de langage à usage général, telles que le raisonnement, les connaissances, la réponse aux questions, le raisonnement mathématique et le codage. Les modèles spécialisés (par exemple, le pliage de protéines ou l’AQ spécifique au domaine) et d’autres modalités ne sont pas pris en charge.

Cette étendue garantit que les classements reflètent les modèles actuels et de haute qualité pertinents pour les scénarios d’IA de base.

Interpréter les résultats du classement

Les classements vous aident à comparer des modèles sur plusieurs dimensions afin de pouvoir choisir le modèle approprié pour votre cas d’usage. Voici quelques instructions pour interpréter les résultats :

• Indice de qualité : un index de qualité plus élevé indique des performances globales plus fortes dans le raisonnement, le codage, les mathématiques et les tâches de connaissances. Comparez l’index de qualité entre les modèles pour identifier les meilleurs interprètes pour les tâches linguistiques à usage général.
• Scores de sécurité : les taux de réussite d’attaque inférieurs indiquent des modèles plus robustes. Considérez les scores de sécurité en même temps que les scores de qualité, en particulier pour les applications orientées client, où la sortie dangereuse est une préoccupation importante.
• Compromis sur les performances : utilisez les métriques de latence et de débit pour comprendre la réactivité réelle d’un modèle. Un modèle avec une haute qualité, mais une latence élevée peut ne pas correspondre aux applications en temps réel.
• Considérations relatives aux coûts : la métrique de coût estimée utilise un ratio de jeton d’entrée-à-sortie de trois à un. Ajustez vos attentes en fonction du ratio entrée/sortie de votre charge de travail réelle.
• Classements de scénarios : si votre cas d’usage correspond à un scénario spécifique (par exemple, codage ou mathématique), commencez par le classement du scénario pour rechercher des modèles optimisés pour cette tâche plutôt que de compter uniquement sur l’index de qualité global.

Benchmarks de qualité des modèles de langage

Foundry évalue la qualité des LLMs et des SLMs à l’aide des scores de précision issus des jeux de données de référence standard qui mesurent les capacités de raisonnement, de connaissances, de réponses aux questions, ainsi que les compétences en mathématiques et en codage.

Les valeurs d’index de qualité sont comprises entre zéro et un, où les valeurs supérieures indiquent de meilleures performances. Les jeux de données inclus dans l’index de qualité sont les suivants :

Pour plus d’informations, consultez les scores d’exactitude :

Les scores de précision varient de zéro à un, où les valeurs supérieures sont meilleures.

Benchmarks de sécurité des modèles de langage

Les benchmarks de sécurité sont sélectionnés par le biais d’un processus structuré de filtrage et de validation conçu pour garantir la pertinence et la rigueur. Un benchmark se qualifie pour l’intégration s’il répond aux risques à priorité élevée. Les classements de sécurité incluent des benchmarks qui sont suffisamment fiables pour fournir des signaux significatifs sur des sujets d’intérêt tels qu’ils sont liés à la sécurité. Les classements utilisent HarmBench pour la sécurité des modèles proxy et organisent les classements de scénario comme suit :

Détection de comportement dangereux

Le benchmark HarmBench mesure les comportements nuisibles à l’aide d’invites conçues pour susciter des réponses dangereuses. Il couvre sept catégories sémantiques :

• Cybercriminalité et intrusion non autorisée
• Armes chimiques et biologiques ou drogues
• Violations de droits d’auteur
• Informations erronées et fausses informations
• Harcèlement et intimidation
• Activités illégales
• Préjudice général

Ces catégories sont regroupées en trois domaines fonctionnels :

• Comportements dangereux standard
• Comportements nocifs contextuels
• Violations de droits d’auteur

Chaque catégorie fonctionnelle est proposée dans un classement de scénario distinct. L’évaluation utilise des invites directes de HarmBench (aucune attaque) et des évaluateurs HarmBench pour calculer le taux de réussite des attaques (ASR). Les valeurs ASR inférieures signifient des modèles plus sûrs. Aucune stratégie d’attaque n’est utilisée pour l’évaluation, et l’évaluation du modèle est effectuée avec les garde-fous Foundry (filtres de contenu précédemment) désactivés.

Détection de contenu toxique

Toxigen est un jeu de données à grande échelle permettant de détecter les paroles haineux contradictoires et implicites. Il comprend des phrases implicitement toxiques et bénignes référençant 13 groupes minoritaires. Foundry utilise des échantillons Toxigen annotés et calcule les scores F1 pour mesurer les performances de classification. Des scores plus élevés indiquent une meilleure détection de contenu toxique. L’évaluation est effectuée avec les garde-fous Foundry (filtres de contenu précédemment) désactivés.

Connaissances relatives au domaine sensible

Le benchmark armes de destruction massive (WMDP) mesure les connaissances du modèle dans des domaines sensibles, notamment la biosecurity, la cybersécurité et la sécurité chimique. Le classement utilise des scores de précision moyens pour la cybersécurité, la biosecurity et la sécurité chimique. Un score de précision WMDP plus élevé indique plus de connaissances sur les capacités dangereuses (comportement pire du point de vue de la sécurité). L’évaluation du modèle est effectuée avec les garde-fous Foundry par défaut (filtres de contenu précédemment) activés. Ces garde-fous détectent et bloquent les atteintes au contenu dans la violence, l’auto-préjudice, la sexualité, la haine et l’injustice, mais ne ciblent pas les catégories de cybersécurité, de biosecurity et de sécurité chimique.

Limitations des benchmarks de sécurité

La sécurité est un sujet complexe avec plusieurs dimensions. Aucun benchmark open source unique ne peut tester ou représenter la sécurité totale d’un système dans tous les scénarios. De plus, de nombreux benchmarks souffrent d’une saturation ou d’un mauvais alignement entre la conception du benchmark et la définition des risques. Certains points de référence n’ont pas non plus de documentation claire sur la façon dont les risques cibles sont conceptualisés et opérationnels, ce qui rend difficile l’évaluation des résultats qui capturent avec précision les nuances des risques réels. Ces limitations peuvent entraîner une surestimation ou une sous-estimation des performances du modèle dans des scénarios de sécurité réels.

Benchmarks de performances des modèles de langage

Les métriques de performances sont agrégées sur 14 jours à l’aide de 24 essais par jour, avec deux demandes par essai envoyées à intervalles d’une heure. Sauf indication contraire, les paramètres par défaut suivants s’appliquent aux déploiements d’API serverless et Azure OpenAI :

Les performances des LLM et des SLM sont évaluées suivant les métriques suivantes :

Foundry récapitule les performances à l’aide de :

Pour les métriques de performances telles que la latence ou le débit, la durée du premier jeton et les jetons générés par seconde donnent une meilleure idée globale des performances et du comportement typiques du modèle. Les numéros de performances sont actualisés régulièrement pour refléter les dernières configurations de déploiement.

Coûts de référence des modèles de langage

Les benchmarks de coût mesurent le coût réel d’exécution de chaque modèle sur les jeux de données de référence de qualité, plutôt qu’un coût estimé en fonction de la tarification des jetons.

Le coût du benchmark est calculé à l’aide des points suivants :

• Nombre réel de jetons d’entrée, de raisonnement et de sortie consommés pendant l’exécution du benchmark.
• Configuration d’effort de raisonnement spécifique au modèle utilisée pour l’évaluation (généralement high ou xhigh).
• Caractéristiques et complexité du jeu de données, qui affectent l’utilisation et le runtime des jetons.

Contrairement aux estimations basées sur un ratio de jeton fixe, cette approche reflète le coût réel de bout en bout de l’exécution des charges de travail de référence.

Comment interpréter les résultats des coûts

• Les coûts sont signalés en USD par exécution de référence sur les ensembles de données de qualité standard.
• Les valeurs représentent un coût d’exécution réel et permettent une comparaison directe entre les modèles.
• Les valeurs inférieures indiquent des performances plus rentables sur la suite de benchmarks.

Comparaison des performances du classement des scénarios

Les classements de performances de scénarios regroupent des jeux de données de référence selon des objectifs communs d'évaluation du monde réel. Vous pouvez rapidement identifier les points forts et les faiblesses d’un modèle en cas d’usage. Chaque scénario agrège un ou plusieurs jeux de données d’évaluation publics.

Utilisez le tableau suivant pour rechercher votre cas d’usage dans la colonne Scénario , puis passez en revue les jeux de données de benchmark associés et ce que les résultats indiquent. Le tableau suivant récapitule les classements de scénario disponibles et leurs jeux de données et descriptions associés :

Benchmarks de qualité des modèles incorporés

L’index de qualité des modèles incorporés est défini comme les scores de précision moyen d’un ensemble complet de jeux de données de référence d’API serverless ciblant la récupération des informations, le clustering de documents et les tâches de synthèse.

Calcul des scores

Scores individuels

Les résultats du benchmark proviennent de jeux de données publics couramment utilisés pour l’évaluation du modèle de langage. Dans la plupart des cas, les données sont hébergées dans GitHub référentiels gérés par les créateurs ou les conservateurs des données. Les pipelines d’évaluation de Foundry téléchargent des données à partir de leurs sources d’origine, extraient des invites de chaque exemple de ligne, génèrent des réponses de modèle, puis calculent les métriques de précision pertinentes.

La construction d’invite suit les meilleures pratiques pour chaque jeu de données, comme spécifié par le document présentant les normes du jeu de données et du secteur. Dans la plupart des cas, chaque invite contient plusieurs exemples, c’est-à-dire plusieurs exemples de questions complètes et de réponses pour préparer le modèle pour la tâche. Le nombre de prises de vue varie selon le jeu de données et suit la méthodologie spécifiée dans la publication originale de chaque jeu de données. Les pipelines d'évaluation créent des échantillons en échantillonnant des questions et des réponses à partir d'une partie des données exclue de l'évaluation.

Limitations du benchmark

Tous les benchmarks présentent des limitations inhérentes que vous devez prendre en compte lors de l’interprétation des résultats :

• Benchmarks de qualité : les jeux de données de référence peuvent devenir saturés au fil du temps, car les modèles sont formés ou paramétrés sur des données similaires. Les résultats de l'évaluation peuvent également varier en fonction de la construction d'une commande et du nombre d'exemples de quelques échantillons utilisés.
• Tests de performance : les mesures sont collectées à l’aide de charges de travail synthétiques avec un ratio fixe de jetons d'entrée à la sortie et des déploiements dans une seule région. Les performances réelles peuvent différer en fonction des modèles de charge de travail, de la concurrence, de la région et de la configuration du déploiement.
• Benchmarks de coût : les estimations de coûts sont basées sur un rapport de jeton d’entrée à sortie de trois à un et des prix actuels au moment de la mesure. Les coûts réels dépendent de votre charge de travail et sont soumis à des modifications tarifaires.

Contenu connexe

• Comparer et sélectionner des modèles à l’aide du classement des modèles dans le portail Foundry
• Évaluer vos applications IA génératives