Utiliser des modèles de conversation compatibles avec la vision

Utilisez cet article pour commencer à utiliser Microsoft Foundry pour déployer et tester un modèle d’achèvement de conversation avec compréhension d’image.

Conditions préalables

• Un abonnement Azure. Créez-en un gratuitement.
• Une fois que vous disposez de votre abonnement Azure, Créer une ressource OpenAI < Azure/sb0>créer une ressource OpenAI Azure . Pour plus d’informations sur la création de ressources, consultez le guide de déploiement des ressources.
• Un projet Foundry avec votre ressource OpenAI Azure ajoutée en tant que connexion.

Préparer votre média

Vous avez besoin d’une image pour suivre ce guide de démarrage rapide. Vous pouvez utiliser cet exemple d’image ou toute autre image disponible.

Accéder à Foundry

1. Accédez à Foundry et connectez-vous avec les informations d’identification associées à votre ressource OpenAI Azure. Pendant ou après le flux de travail de connexion, sélectionnez le répertoire approprié, Azure abonnement et Azure ressource OpenAI.
2. Sélectionnez le projet dans lequel vous souhaitez travailler.
3. Dans le menu de navigation de gauche, sélectionnez Modèles + points de terminaison , puis sélectionnez + Déployer le modèle.
4. Choisissez un déploiement compatible avec l’image en sélectionnant le nom du modèle : gpt-4o ou gpt-4o-mini. Dans la fenêtre qui s’affiche, sélectionnez un nom et un type de déploiement. Vérifiez que votre Azure ressource OpenAI est connectée. Pour plus d’informations sur le déploiement de modèles, consultez le guide de déploiement de ressources.
5. Sélectionnez Déployer.
6. Ensuite, sélectionnez votre nouveau modèle et sélectionnez Ouvrir dans le terrain de jeux. Dans le terrain de jeu de conversation, le déploiement que vous avez créé doit être sélectionné dans la liste déroulante Déploiement .

Terrain

Dans cette session de conversation, vous demandez à l’assistant de vous aider à comprendre les images que vous entrez.

Pour obtenir de l’aide générale sur la configuration de l’Assistant, les sessions de conversation, les paramètres et les panneaux, reportez-vous au guide de démarrage rapide de conversation.

Démarrer une session de conversation pour analyser des images

Dans cette session de conversation, vous demandez à l’assistant de comprendre les images que vous entrez.

1. Pour démarrer, vérifiez que votre déploiement compatible avec l’image est sélectionné dans la liste déroulante Déploiement .

2. Dans la zone de texte contextuelle du panneau Configuration , indiquez cette invite pour guider l’Assistant : "You're an AI assistant that helps people find information." Vous pouvez également adapter l’invite à votre image ou scénario.

   Note

   Nous vous recommandons de mettre à jour le message système pour qu’il soit spécifique à la tâche afin d’éviter les réponses inutiles du modèle.

3. Sélectionnez Appliquer les modifications pour enregistrer vos modifications.

4. Dans le volet de session de conversation, sélectionnez le bouton pièce jointe, puis chargez l’image. Choisissez votre image.

5. Ajoutez l’invite suivante dans le champ de conversation : Describe this imagepuis sélectionnez l’icône d’envoi pour l’envoyer.

6. L’icône d’envoi est remplacée par un bouton d’arrêt. Si vous le sélectionnez, l’Assistant cesse de traiter votre demande. Pour ce guide de démarrage rapide, laissez l’assistant terminer sa réponse.

7. L’assistant répond avec une description de l’image.

8. Posez une question de suivi relative à l’analyse de votre image. Vous pourriez entrer, "What should I highlight about this image to my insurance company?".

9. Vous devez recevoir une réponse pertinente similaire à ce qui s’affiche ici :

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Afficher et exporter du code

À tout moment dans la session de conversation, vous pouvez activer le commutateur Afficher le json brut en haut de la fenêtre de conversation pour voir la conversation mise en forme au format JSON. Voici ce qu’il ressemble au début de la session de conversation de démarrage rapide :

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Nettoyer les ressources

Si vous souhaitez nettoyer et supprimer une ressource OpenAI Azure, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources supprime également toutes les autres ressources associées.

• portail Azure
• Azure CLI

Utilisez cet article pour commencer à utiliser les API REST OpenAI Azure pour déployer et utiliser des modèles de conversation compatibles avec la vision.

Conditions préalables

• Un abonnement Azure. Créez-en un gratuitement.
• Python version 3.8 ou ultérieure.
• Bibliothèques Python suivantes : requests, json.
• Une ressource OpenAI Azure dans Microsoft ressource Foundry Models avec un modèle compatible vision déployé. Consultez la disponibilité du modèle pour les régions disponibles. Pour plus d’informations sur la création de ressources, consultez le guide de déploiement des ressources.

Récupérer la clé et le point de terminaison

Pour appeler correctement les API OpenAI Azure, vous avez besoin des informations suivantes sur votre ressource OpenAI Azure :

Accédez à votre ressource dans le portail Azure. Dans le volet de navigation, sélectionnez Clés et point de terminaison sous Gestion des ressources. Copiez la valeur du point de terminaison et une valeur de clé d’accès. Vous pouvez utiliser la valeur KEY 1 ou KEY 2 . L’utilisation de deux clés vous permet de faire pivoter et de régénérer en toute sécurité les clés sans provoquer d’interruption de service.

Créer une application Python

Créez un fichier Python nommé quickstart.py. Ouvrez le nouveau fichier dans votre éditeur ou IDE préféré.

1. Remplacez le contenu de quickstart.py par le code suivant.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Apportez les modifications suivantes :

   1. Entrez l’URL et la clé de votre point de terminaison dans les champs appropriés.
   2. Entrez le nom de votre déploiement de modèle dans le champ approprié.
   3. Remplacez la valeur du "image" champ par l’URL accessible publiquement de votre image.

      Pointe

      Vous pouvez également utiliser des données d’image encodées en base 64 au lieu d’une URL. Pour plus d’informations, consultez le guide pratique de Vision.

3. Exécutez l’application avec la python commande :

   python quickstart.py
   

Nettoyer les ressources

Si vous souhaitez nettoyer et supprimer une ressource OpenAI Azure, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources supprime également toutes les autres ressources associées.

• portail Azure
• Azure CLI

Utilisez cet article pour commencer à utiliser le kit de développement logiciel (SDK) openAI Python Azure pour déployer et utiliser un modèle de conversation compatible vision.

Code | source de la bibliothèquePackage (PyPi) |

Conditions préalables

• Un abonnement Azure. Créez-en un gratuitement.
• Python version 3.8 ou ultérieure.
• Une Azure OpenAI dans Microsoft ressource Foundry Models avec un modèle de conversation compatible vision déployé. Consultez la disponibilité du modèle pour les régions disponibles. Pour plus d’informations sur la création de ressources, consultez le guide de déploiement des ressources.

prérequis Microsoft Entra ID

Pour l’authentification sans clé recommandée avec Microsoft Entra ID, vous devez :

• Installez le Azure CLI utilisé pour l’authentification sans clé avec Microsoft Entra ID.
• Attribuez le Cognitive Services User rôle à votre compte d’utilisateur. Vous pouvez attribuer des rôles dans le portail Azure sous Access control (IAM)>Add role assignment.

Configurer

Installez la bibliothèque cliente OpenAI Python avec :

pip install openai

Récupérer la clé et le point de terminaison

Pour effectuer un appel sur Azure OpenAI, vous avez besoin d’un endpoint et d’une key.

Accédez à votre ressource dans le portail Azure. La section Clés et point de terminaison se trouve dans la section Gestion des ressources . Copiez votre point de terminaison et votre clé d’accès, car vous aurez besoin des deux pour authentifier vos appels d’API. Vous pouvez utiliser l’une ou l’autre KEY1KEY2. Toujours avoir deux clés vous permet de faire pivoter et de régénérer en toute sécurité les clés sans provoquer d’interruption de service.

Variables d’environnement

Créez et affectez des variables d’environnement persistantes pour votre clé et votre point de terminaison.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Créer une application Python

Créez un fichier Python nommé quickstart.py. Ouvrez le nouveau fichier dans votre éditeur ou IDE préféré.

1. Remplacez le contenu de quickstart.py par le code suivant.

   import os
   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Apportez les modifications suivantes :

   1. Vérifiez que les variables d’environnement et AZURE_OPENAI_API_KEY les variables d’environnement AZURE_OPENAI_ENDPOINT sont définies.
   2. Entrez le nom de votre déploiement de modèle dans la deployment_name variable.
   3. Remplacez la valeur du "url" champ par l’URL accessible publiquement de votre image.

      Pointe

      Vous pouvez également utiliser des données d’image encodées en base 64 au lieu d’une URL. Pour plus d’informations, consultez le guide pratique de Vision.

3. Exécutez l’application avec la python commande :

   python quickstart.py
   

Nettoyer les ressources

Si vous souhaitez nettoyer et supprimer une ressource OpenAI Azure, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources supprime également toutes les autres ressources associées.

• portail Azure
• Azure CLI

Utilisez cet article pour commencer à utiliser le Kit de développement logiciel (SDK) JavaScript OpenAI pour déployer et utiliser un modèle de conversation compatible avec la vision.

Ce Kit de développement logiciel (SDK) est fourni par OpenAI avec Azure types spécifiques fournis par Azure.

documentation Reference Code sourcelibraryPackage (npm)Samples<>/c6>

Conditions préalables

• Un abonnement Azure - Create one gratuitement
• Versions LTS de Node.js
• Azure CLI utilisé pour l’authentification sans mot de passe dans un environnement de développement local, créez le contexte nécessaire en vous connectant avec le Azure CLI.
• Une ressource OpenAI Azure créée dans une région prise en charge (consultez Disponibilité de l’inscription). Pour plus d’informations, consultez Créer une ressource et déployer un modèle avec Azure OpenAI.

prérequis Microsoft Entra ID

Pour l’authentification sans clé recommandée avec Microsoft Entra ID, vous devez :

• Installez le Azure CLI utilisé pour l’authentification sans clé avec Microsoft Entra ID.
• Attribuez le Cognitive Services User rôle à votre compte d’utilisateur. Vous pouvez attribuer des rôles dans le portail Azure sous Access control (IAM)>Add role assignment.

Configurer

1. Créez un dossier vision-quickstart et accédez au dossier de démarrage rapide avec la commande suivante :

   mkdir vision-quickstart && cd vision-quickstart
   

2. Créez l’élément package.json avec la commande suivante :

   npm init -y
   

3. Installez la bibliothèque de client OpenAI pour JavaScript avec :

   npm install openai
   

4. Pour l’authentification sans mot de passe recommandée :

   npm install @azure/identity
   

Récupérer des informations sur les ressources

Vous devez récupérer les informations suivantes pour authentifier votre application avec votre ressource OpenAI Azure :

Créer une application JavaScript pour les invites d’images

Sélectionnez une image dans les azure-samples/cognitive-services-sample-data-files. Entrez votre URL d’image accessible publiquement dans le code ci-dessous ou définissez la IMAGE_URL variable d’environnement sur celle-ci.

Nettoyer les ressources

Si vous souhaitez nettoyer et supprimer une ressource OpenAI Azure, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources supprime également toutes les autres ressources associées.

• portail Azure
• Azure CLI

Utilisez cet article pour commencer à utiliser le Kit de développement logiciel (SDK) JavaScript OpenAI pour déployer et utiliser un modèle de conversation compatible avec la vision.

Ce Kit de développement logiciel (SDK) est fourni par OpenAI avec Azure types spécifiques fournis par Azure.

documentation Reference Code sourcelibraryPackage (npm)Samples<>/c6>

Conditions préalables

• Un abonnement Azure - Create one gratuitement
• Versions LTS de Node.js
• TypeScript
• Azure CLI utilisé pour l’authentification sans mot de passe dans un environnement de développement local, créez le contexte nécessaire en vous connectant avec le Azure CLI.
• Une ressource OpenAI Azure créée dans une région prise en charge (consultez Disponibilité de l’inscription). Pour plus d’informations, consultez Créer une ressource et déployer un modèle avec Azure OpenAI.

prérequis Microsoft Entra ID

Pour l’authentification sans clé recommandée avec Microsoft Entra ID, vous devez :

• Installez le Azure CLI utilisé pour l’authentification sans clé avec Microsoft Entra ID.
• Attribuez le Cognitive Services User rôle à votre compte d’utilisateur. Vous pouvez attribuer des rôles dans le portail Azure sous Access control (IAM)>Add role assignment.

Configurer

1. Créez un dossier vision-quickstart et accédez au dossier de démarrage rapide avec la commande suivante :

   mkdir vision-quickstart && cd vision-quickstart
   

2. Créez l’élément package.json avec la commande suivante :

   npm init -y
   

3. Mettez à jour la package.json commande ECMAScript avec la commande suivante :

   npm pkg set type=module
   

4. Installez la bibliothèque de client OpenAI pour JavaScript avec :

   npm install openai
   

5. Pour l’authentification sans mot de passe recommandée :

   npm install @azure/identity
   

Récupérer des informations sur les ressources

Vous devez récupérer les informations suivantes pour authentifier votre application avec votre ressource OpenAI Azure :

Créer une application JavaScript pour les invites d’images

Sélectionnez une image dans les azure-samples/cognitive-services-sample-data-files. Utilisez l’URL de l’image dans le code ci-dessous ou définissez la IMAGE_URL variable d’environnement sur l’URL de l’image.

Nettoyer les ressources

Si vous souhaitez nettoyer et supprimer une ressource OpenAI Azure, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources supprime également toutes les autres ressources associées.

• portail Azure
• Azure CLI

Utilisez cet article pour commencer à utiliser le kit de développement logiciel (SDK) openAI Azure OpenAI .NET pour déployer et utiliser un modèle de conversation compatible avec la vision.

Conditions préalables

• Un abonnement Azure. Vous pouvez en créer un gratuitement.
• Le sdk .NET 8.0
• Une Azure OpenAI dans Microsoft ressource Foundry Models avec un modèle de conversation compatible vision déployé. Consultez la disponibilité du modèle pour les régions disponibles. Pour plus d’informations sur la création de ressources, consultez le guide de déploiement des ressources.

prérequis Microsoft Entra ID

Pour l’authentification sans clé recommandée avec Microsoft Entra ID, vous devez :

• Installez le Azure CLI utilisé pour l’authentification sans clé avec Microsoft Entra ID.
• Attribuez le Cognitive Services User rôle à votre compte d’utilisateur. Vous pouvez attribuer des rôles dans le portail Azure sous Access control (IAM)>Add role assignment.

Configurer

1. Créez un dossier vision-quickstart et accédez au dossier de démarrage rapide avec la commande suivante :

   mkdir vision-quickstart && cd vision-quickstart
   

2. Créez une application console avec la commande suivante :

   dotnet new console
   

3. Installez la bibliothèque cliente OpenAI .NET avec la commande dotnet add package :

   dotnet add package Azure.AI.OpenAI
   

4. Pour l’authentification sans clé re félicitée avec Microsoft Entra ID, installez la Azure. Identity package avec :

   dotnet add package Azure.Identity
   

5. Pour l’authentification sans clé sans clé avec Microsoft Entra ID, connectez-vous à Azure avec la commande suivante :

   az login
   

Récupérer des informations sur les ressources

Vous devez récupérer les informations suivantes pour authentifier votre application avec votre ressource OpenAI Azure :

Exécuter le guide de démarrage rapide

L’exemple de code de ce guide de démarrage rapide utilise Microsoft Entra ID pour l’authentification sans clé recommandée. Si vous préférez utiliser une clé API, vous pouvez remplacer l’objet DefaultAzureCredential par un AzureKeyCredential objet.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Pour exécuter le guide de démarrage rapide, procédez comme suit :

1. Remplacez le contenu par le code suivant et mettez à jour les valeurs d’espace Program.cs réservé par vos propres valeurs.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   string deploymentName = "gpt-4";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUrl = "YOUR_IMAGE_URL";
   
   var textPart = ChatMessageContentPart.CreateTextPart("Describe this picture:");
   var imgPart = ChatMessageContentPart.CreateImagePart(imageUrl); 
   
   var chatMessages = new List<ChatMessage>
   {
       new SystemChatMessage("You are a helpful assistant."),
       new UserChatMessage(textPart, imgPart)
   
   };
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(chatMessages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

2. Remplacez YOUR_IMAGE_URL par l’accès public de l’image que vous souhaitez charger.

3. Exécutez l’application à l’aide de la commande dotnet run ou du bouton Exécuter en haut de Visual Studio :

   dotnet run
   

Sortie

La sortie de l’application est une description de l’image que vous avez fournie dans la imageUri variable. L’assistant analyse l’image et fournit une description détaillée en fonction de son contenu.

Nettoyer les ressources

Si vous souhaitez nettoyer et supprimer une ressource OpenAI Azure, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources supprime également toutes les autres ressources associées.

• portail Azure
• Azure CLI