Exemples d’inférence d’API serverless pour les modèles Foundry (classique)

S’applique uniquement au :Portail Foundry (classique). Cet article n’est pas disponible pour le nouveau portail Foundry. En savoir plus sur le nouveau portail.

Le catalogue de modèles Foundry offre une grande sélection de modèles Microsoft Foundry à partir d’un large éventail de fournisseurs. Vous avez différentes options pour déployer des modèles à partir du catalogue de modèles. Cet article répertorie les exemples d’inférence pour les déploiements d’API serverless.

Pour effectuer une inférence avec les modèles, certains modèles tels que TimeGEN-1 de Nixtla et rerank de Cohere nécessitent que vous utilisiez des API personnalisées à partir des fournisseurs de modèles. D’autres prennent en charge l’inférence à l’aide de l’API d’inférence de modèle. Vous trouverez plus d’informations sur les modèles individuels en examinant leurs cartes de modèle dans le catalogue de modèles pour le portail Foundry.

Cohere

La famille de modèles Cohere comprend différents modèles optimisés pour différents cas d’usage, notamment la reclassation, les achèvements de conversation et les modèles d’incorporation.

Exemples d’inférence : Commande Cohere et incorporation

Le tableau suivant fournit des liens vers des exemples d’utilisation de modèles Cohere.

Utilisation d'exemples avec la génération augmentée par récupération (RAG) et l'usage d'outils : commande Cohere et intégration

Réorganisation Cohere

Pour effectuer une inférence avec des modèles de reclassement Cohere, vous devez utiliser les API personnalisées de Cohere. Pour plus d’informations sur le modèle de reclassement Cohere et ses fonctionnalités, consultez Rerank Cohere.

Tarification des modèles de reclassement Cohere

Les requêtes, qui ne doivent pas être confondues avec la requête d’un utilisateur, sont un compteur de tarification qui fait référence au coût associé aux jetons utilisés comme entrée pour l’inférence d’un modèle Cohere Rerank. Cohere compte une seule unité de recherche sous forme de requête avec jusqu’à 100 documents à classer. Les documents de plus de 500 jetons (pour Cohere-rerank-v3.5) ou de plus de 4096 jetons (pour Cohere-rerank-v3-English et Cohere-rerank-v3-multilingue), lorsque l'on inclut la longueur de la requête de recherche, sont divisés en plusieurs blocs, chaque bloc étant considéré comme un document unique.

Consultez la collection de modèles Cohere dans le portail Foundry.

Core42

Le tableau suivant fournit des liens vers des exemples d’utilisation des modèles Jais.

DeepSeek

La famille de modèles DeepSeek comprend DeepSeek-R1, qui excelle dans les tâches de raisonnement à l’aide d’un processus de formation pas à pas, tel que le langage, le raisonnement scientifique et les tâches de codage, DeepSeek-V3-0324, un modèle de langage MoE (Mix-of-Experts), etc.

Le tableau suivant fournit des liens vers des exemples d’utilisation des modèles DeepSeek.

Meta

Les modèles et outils Meta Llama sont une collection de modèles de texte et de raisonnement d’image générés préentraînés et affinés. La plage de méta-modèles est mise à l’échelle pour inclure :

• Petits modèles de langage (SLMs) tels que les modèles 1B et 3B Base et Instruct pour l’inférence sur l'appareil et en périphérie.
• Modèles de langage de taille moyenne (LLMs) tels que 7B, 8B et 70B Base et Instruct
• Modèles performants tels que Meta Llama 3.1-405B Instruct pour la génération de données synthétiques et les cas d’usage de la distillation.
• Des modèles multimodaux performants en mode natif, Llama 4 Scout et Llama 4 Maverick, tirent parti d’une architecture de mélange d’experts pour offrir des performances de pointe dans le texte et la compréhension de l’image.

Le tableau suivant fournit des liens vers des exemples d’utilisation des modèles Meta Llama.

Microsoft

Microsoft modèles incluent différents groupes de modèles tels que les modèles MAI, Les modèles Phi, les modèles IA de santé, etc. Pour afficher tous les modèles Microsoft disponibles, affichez la collection de modèles Microsoft dans le portail Foundry.

Le tableau suivant fournit des liens vers des exemples d’utilisation de modèles Microsoft.

Consultez la collection de modèles Microsoft dans le portail Foundry.

Mistral AI

Mistral AI propose deux catégories de modèles, à savoir :

• Modèles Premium : Les modèles Mistral Large, Mistral Small, Mistral-OCR-2503, Mistral Medium 3 (25.05) et Ministral 3B sont disponibles en tant qu’API serverless avec facturation basée sur les jetons de paiement à l’utilisation.
• Modèles ouverts : Ceux-ci incluent Mistral-small-2503, Codestral et Mistral Nemo (qui sont disponibles en tant qu’API serverless avec facturation basée sur le paiement à l’utilisation) et Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 et Mistral-7B-v01(qui sont disponibles pour télécharger et exécuter sur des points de terminaison managés auto-hébergés).

Le tableau suivant fournit des liens vers des exemples d’utilisation de modèles Mistral.

Nixtla

TimeGEN-1 de Nixtla est un modèle de prévision préentraîné et de détection des anomalies pour les données de série chronologique. TimeGEN-1 peut produire des prévisions précises pour de nouvelles séries chronologiques sans formation, en utilisant uniquement des valeurs historiques et des covariés exogènes comme entrées.

Pour effectuer l’inférence, TimeGEN-1 vous oblige à utiliser l’API d’inférence personnalisée de Nixtla. Pour plus d’informations sur le modèle TimeGEN-1 et ses fonctionnalités, consultez Nixtla.

Estimer le nombre de jetons nécessaires

Avant de créer un déploiement TimeGEN-1, il est utile d’estimer le nombre de jetons que vous envisagez d’utiliser et d’être facturés. Un jeton correspond à un point de données dans votre jeu de données d’entrée ou jeu de données de sortie.

Supposons que vous disposez du jeu de données de série chronologique d’entrée suivant :

Pour déterminer le nombre de jetons, multipliez le nombre de lignes (dans cet exemple, deux) et le nombre de colonnes utilisées pour la prévision, sans compter les colonnes de unique_id et d’horodatage (dans cet exemple, trois) pour obtenir un total de six jetons.

Compte tenu du jeu de données de sortie suivant :

Vous pouvez également déterminer le nombre de jetons en comptant le nombre de points de données retournés après la prévision des données. Dans cet exemple, le nombre de jetons est de deux.

Estimer la tarification en fonction des jetons

Quatre compteurs tarifaires déterminent le prix que vous payez. Ces compteurs sont les suivants :

Consultez la collection de modèles Nixtla dans le portail Foundry.

IA de stabilité

Les modèles IA de stabilité déployés via le déploiement d’API serverless implémentent l’API d’inférence de modèle sur l’itinéraire /image/generations. Pour obtenir des exemples d’utilisation des modèles IA de stabilité, consultez les exemples suivants :

• Utilisez le SDK d'OpenAI avec les modèles de Stability AI pour les demandes de texte à image
• Utilisez la bibliothèque Requests avec les modèles de Stability AI pour les requêtes de texte à image
• Utilisez la bibliothèque Requests avec Stable Diffusion 3.5 Large pour les requêtes d'image à image
• Example d’une réponse de génération d’image entièrement encodée

Gretel Navigator

Gretel Navigator utilise une architecture d’IA composée spécialement conçue pour les données synthétiques, en combinant des modèles de petite langue open source (SLMs) affinés dans plus de 10 domaines industriels. Ce système conçu spécialement crée des jeux de données variés et spécifiques au domaine à l'échelle de centaines à des millions d'exemples. Le système conserve également des relations statistiques complexes et offre une vitesse et une précision accrues par rapport à la création manuelle de données.

Contenu connexe

• Déployer des modèles sous forme de déploiements d'API sans serveur
• Explorer les modèles Foundry
• Modèles foundry et leurs fonctionnalités
• Disponibilité des régions pour les modèles dans les déploiements d’API serverless
• Sécurité du contenu pour les modèles vendus directement par Azure