Ouvrir l’outil LLM du modèle

L’outil Open Model LLM permet d’utiliser différents modèles Open Model et Foundational Models, tels que Falcon et Llama 2, pour le traitement du langage naturel dans Azure Machine Learning flux d’invite.

Voici comment il ressemble en action sur l'extension de flux d'invite Visual Studio Code. Dans cet exemple, l’outil est utilisé pour appeler un point de terminaison de conversation LlaMa-2 et demander « Qu’est-ce que CI ? ».

Cet outil de flux d’invite prend en charge deux types d’API LLM différents :

• Conversation : illustré dans l’exemple précédent. Le type d’API de conversation facilite les conversations interactives avec des entrées et des réponses textuelles.
• Saisie semi-automatique : le type d’API d’achèvement est utilisé pour générer des saisies de texte de réponse uniques en fonction de l’entrée d’invite fournie.

Vue d’ensemble rapide : Comment utiliser l’outil Open Model LLM ?

1. Choisissez un modèle dans le catalogue de modèles Azure Machine Learning et déployez-le.
2. Connectez-vous au déploiement du modèle.
3. Configurez les paramètres de l’outil llm de modèle ouvert.
4. Préparez l’invite.
5. Exécutez le flux.

Conditions préalables : Déploiement de modèle

• Choisissez le modèle correspondant à votre scénario à partir du catalogue de modèles Azure Machine Learning.
• Utilisez le bouton Deploy pour déployer le modèle sur un point de terminaison d’inférence en ligne Azure Machine Learning.
  • Utilisez l’une des options de déploiement standard.

Pour plus d’informations, consultez Déployer des modèles de base sur des points de terminaison pour l’inférence.

Conditions préalables : Se connecter au modèle

Pour que le flux d’invite utilise votre modèle déployé, vous devez vous y connecter. Il existe deux façons de se connecter.

Endpoint connections

Une fois que votre flux est associé à un espace de travail Azure Machine Learning ou Microsoft Foundry, l’outil Open Model LLM peut utiliser les points de terminaison de cet espace de travail.

• Utilisez des espaces de travail Azure Machine Learning ou Foundry : si vous utilisez le flux d'invite dans l'un des espaces de travail basés sur des pages web, les points de terminaison en ligne disponibles sur cet espace de travail automatiquement.

• Utilisation de VS Code ou de code en premier : si vous utilisez le flux d’invite dans VS Code ou l’une des offres Code First, vous devez vous connecter à l’espace de travail. L’outil Open Model LLM utilise le client Azure.identity DefaultAzureCredential pour l’autorisation. L’une des façons consiste à définir des valeurs d’informations d’identification d’environnement.

Custom connections

L’outil Open Model LLM utilise CustomConnection. Le flux d’invite prend en charge deux types de connexions :

• ConnexionsWorkspace : connexions stockées en tant que secrets sur un espace de travail Azure Machine Learning. Bien que ces connexions puissent être utilisées, dans de nombreux endroits, elles sont généralement créées et conservées dans l’interface utilisateur de Studio. Pour savoir comment créer une connexion personnalisée dans l’interface utilisateur de Studio, découvrez comment créer une connexion personnalisée.

• Connexions locales : connexions stockées localement sur votre ordinateur. Ces connexions ne sont pas disponibles dans l’expérience utilisateur studio, mais peuvent être utilisées avec l’extension VS Code. Pour savoir comment créer une connexion personnalisée locale, découvrez comment créer une connexion locale.

Les clés requises à définir sont les suivantes :

• endpoint_url
  • Cette valeur se trouve sur le point de terminaison d’inférence créé précédemment.
• endpoint_api_key
  • Veillez à la définir comme valeur secrète.
  • Cette valeur se trouve sur le point de terminaison d’inférence créé précédemment.
• model_family
  • Valeurs prises en charge : LLAMA, DOLLY, GPT2 ou FALCON
  • Cette valeur dépend du type de déploiement que vous ciblez.

Exécution de l’outil : Entrées

L’outil Open Model LLM a de nombreux paramètres, dont certains sont requis. Consultez le tableau suivant pour plus d’informations, vous pouvez faire correspondre ces paramètres à la capture d’écran précédente pour plus de clarté visuelle.

Outputs

Déploiement sur un point de terminaison en ligne

Lorsque vous déployez un flux contenant l’outil Open Model LLM sur un point de terminaison en ligne, il existe une étape supplémentaire pour configurer des autorisations. Pendant le déploiement via les pages web, il existe un choix entre les types d’identité attribués par le système et attribués par l’utilisateur. Dans les deux cas, à l’aide du portail Azure (ou d’une fonctionnalité similaire), ajoutez le rôle de fonction de travail « Lecteur » à l’identité sur l’espace de travail Azure Machine Learning ou le projet Ai Studio, qui héberge le point de terminaison. Le déploiement de flux d’invite peut avoir besoin d’être actualisé.