Usar modelos de chat habilitados para visão

Use este artigo para começar a usar Microsoft Foundry para implantar e testar um modelo de conclusão de chat com compreensão de imagem.

Pré-requisitos

• Uma assinatura Azure. Crie um gratuitamente.
• Depois de ter sua assinatura do Azure, criar um recurso Azure OpenAI. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.
• Um projeto Foundry com o recurso Azure OpenAI adicionado como conexão.

Prepare sua mídia

Você precisa de uma imagem para concluir este início rápido. Você pode usar essa imagem de exemplo ou qualquer outra imagem disponível.

Ir para o Foundry

1. Navegue até Foundry e entre com as credenciais associadas ao recurso Azure OpenAI. Durante ou após o fluxo de trabalho de entrada, selecione o diretório apropriado, a assinatura do Azure e o recurso Azure OpenAI.
2. Selecione o projeto no qual você gostaria de trabalhar.
3. No menu de navegação à esquerda, selecione Modelos + pontos de extremidade e selecione + Implantar modelo.
4. Escolha uma implantação com capacidade para imagens selecionando o nome do modelo: gpt-4o ou gpt-4o-mini. Na janela exibida, selecione um nome e um tipo de implantação. Verifique se o recurso Azure OpenAI está conectado. Para obter mais informações sobre a implantação do modelo, consulte o guia de implantação de recursos.
5. Selecione Implantar.
6. Em seguida, selecione seu novo modelo e selecione Abrir no playground. No playground de chat, a implantação que você criou deve ser selecionada no menu suspenso Implantação.

Parque infantil

Nesta sessão de chat, você instrui o assistente a ajudá-lo a entender as imagens que você inseriu.

Para obter ajuda geral com a configuração do assistente, sessões de chat, configurações e painéis, consulte o início rápido do Chat.

Iniciar uma sessão de chat para analisar imagens

Nesta sessão de chat, você está instruindo o assistente a ajudar a entender as imagens que você inseriu.

1. Para começar, verifique se a implantação com capacidade para imagens está selecionada na lista suspensa implantação .

2. Na caixa de texto de contexto no painel Instalação , forneça este prompt para orientar o assistente: "You're an AI assistant that helps people find information." Ou, você pode adaptar o prompt à sua imagem ou cenário.

   Nota

   Recomendamos que você atualize a Mensagem do Sistema para ser específica para a tarefa, a fim de evitar respostas inúteis do modelo.

3. Selecione Aplicar alterações para salvar suas alterações.

4. No painel de sessão de chat, selecione o botão anexo e, em seguida, carregue a imagem. Escolha sua imagem.

5. Adicione o seguinte prompt no campo de chat: Describe this imagee selecione o ícone de envio para enviá-lo.

6. O ícone de envio é substituído por um botão parar. Se você selecioná-la, o assistente interromperá o processamento da solicitação. Para este início rápido, deixe o assistente concluir sua resposta.

7. O assistente responde com uma descrição da imagem.

8. Faça uma pergunta de acompanhamento relacionada à análise de sua imagem. Você poderia entrar, "What should I highlight about this image to my insurance company?".

9. Você deve receber uma resposta relevante semelhante ao mostrado aqui:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Exibir e exportar código

A qualquer momento da sessão de chat, você pode habilitar a opção Mostrar JSON bruto na parte superior da janela de chat para ver a conversa formatada como JSON. Aqui está a aparência no início da sessão de chat de início rápido:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Limpar recursos

Se você quiser limpar e remover um recurso Azure OpenAI, poderá excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui outros recursos associados a ele.

• Azure portal
• CLI do Azure

Use este artigo para começar a usar as APIs REST do Azure OpenAI para implantar e usar modelos de chat habilitados para visão.

Pré-requisitos

• Uma assinatura Azure. Crie um gratuitamente.
• Python versão 3.8 ou posterior.
• As seguintes bibliotecas de Python: requests, json.
• Um recurso Azure OpenAI no Microsoft Foundry Models com um modelo habilitado para visão implantado. Consulte a disponibilidade do modelo para regiões disponíveis. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.

Recuperar chave e ponto de extremidade

Para chamar com êxito as APIs do Azure OpenAI, você precisa das seguintes informações sobre o recurso Azure OpenAI:

Acesse seu recurso no portal do Azure. No painel de navegação, selecione Chaves e Endpoint no Gerenciamento de Recursos. Copie o valor do Endpoint e um valor de chave de acesso. Você pode usar o valor KEY 1 ou KEY 2 . Ter duas chaves permite girar e regenerar chaves com segurança sem causar uma interrupção de serviço.

Criar um novo aplicativo Python

Crie um novo arquivo de Python chamado quickstart.py. Abra o novo arquivo em seu editor ou IDE preferencial.

1. Substitua o conteúdo de quickstart.py pelo código a seguir.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Faça as seguintes alterações:

   1. Insira a URL do endpoint e a chave nos campos apropriados.
   2. Insira o nome da implantação do modelo no campo apropriado.
   3. Altere o valor do "image" campo para a URL acessível publicamente de sua imagem.

      Dica

      Você também pode usar dados de imagem codificados em base 64 em vez de uma URL. Para obter mais informações, consulte o guia de instruções de chats da Visão.

3. Execute o aplicativo com o python comando:

   python quickstart.py
   

Limpar recursos

Se você quiser limpar e remover um recurso Azure OpenAI, poderá excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui outros recursos associados a ele.

• Azure portal
• CLI do Azure

Use este artigo para começar a usar o SDK do Azure OpenAI Python para implantar e usar um modelo de chat habilitado para visão.

Código-fonte da biblioteca | Pacote (PyPi) |

Pré-requisitos

• Uma assinatura Azure. Crie um gratuitamente.
• Python versão 3.8 ou posterior.
• Um recurso do Azure OpenAI nos Microsoft Foundry Models com um modelo de chat com suporte a visão implantado. Consulte a disponibilidade do modelo para regiões disponíveis. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.

Microsoft Entra ID pré-requisitos

Para a autenticação sem chave recomendada com Microsoft Entra ID, você precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribua a Cognitive Services User função à sua conta de usuário. Você pode atribuir funções no portal do Azure em Controle de Acesso (IAM)>Adicionar atribuição de função.

Configurar

Instale a biblioteca de clientes do Python OpenAI com:

pip install openai

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito contra Azure OpenAI, você precisa de um endpoint e um key.

Acesse seu recurso no portal do Azure. A seção Chaves & Ponto de Extremidade está localizada em Gerenciamento de Recursos. Copie o ponto de extremidade e a chave de acesso, pois você precisará de ambos para autenticar suas chamadas à API. Você pode usar um KEY1 ou KEY2. Sempre ter duas chaves permite girar e regenerar chaves com segurança sem causar uma interrupção de serviço.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e ponto de extremidade.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Criar um novo aplicativo Python

Crie um novo arquivo de Python chamado quickstart.py. Abra o novo arquivo em seu editor ou IDE preferencial.

1. Substitua o conteúdo de quickstart.py pelo código a seguir.

   import os
   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Faça as seguintes alterações:

   1. Verifique se as variáveis de ambiente AZURE_OPENAI_ENDPOINT e AZURE_OPENAI_API_KEY estão definidas.
   2. Insira o nome da implantação do modelo na deployment_name variável.
   3. Altere o valor do "url" campo para a URL acessível publicamente de sua imagem.

      Dica

      Você também pode usar dados de imagem codificados em base 64 em vez de uma URL. Para obter mais informações, consulte o guia de instruções de chats da Visão.

3. Execute o aplicativo com o python comando:

   python quickstart.py
   

Limpar recursos

Se você quiser limpar e remover um recurso Azure OpenAI, poderá excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui outros recursos associados a ele.

• Azure portal
• CLI do Azure

Use este artigo para começar a usar o SDK do JavaScript OpenAI para implantar e usar um modelo de chat habilitado para visão.

Esse SDK é fornecido pela OpenAI com tipos específicos do Azure fornecidos pelo Azure.

Reference documentation | Library source code | Package (npm) | Samples

Pré-requisitos

• Uma assinatura Azure – Criar uma gratuitamente
• Versões LTS de Node.js
• CLI do Azure usado para autenticação sem senha em um ambiente de desenvolvimento local, crie o contexto necessário entrando com o CLI do Azure.
• Um recurso Azure OpenAI criado em uma região com suporte (consulte disponibilidade de região). Para obter mais informações, consulte Criar um recurso e implantar um modelo com Azure OpenAI.

Microsoft Entra ID pré-requisitos

Para a autenticação sem chave recomendada com Microsoft Entra ID, você precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribua a Cognitive Services User função à sua conta de usuário. Você pode atribuir funções no portal do Azure em Controle de Acesso (IAM)>Adicionar atribuição de função.

Configurar

1. Crie uma nova pasta vision-quickstart e vá para a pasta de início rápido com o seguinte comando:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Crie o package.json com o seguinte comando:

   npm init -y
   

3. Instale a biblioteca de clientes OpenAI para JavaScript com:

   npm install openai
   

4. Para a autenticação sem senha recomendada :

   npm install @azure/identity
   

Recuperar informações do recurso

Você precisa recuperar as seguintes informações para autenticar seu aplicativo com seu Azure recurso OpenAI:

Criar um novo aplicativo JavaScript para prompts de imagem

Selecione uma imagem no azure-samples/cognitive-services-sample-data-files. Insira sua URL de imagem acessível publicamente no código abaixo ou defina a variável de IMAGE_URL ambiente como ela.

Limpar recursos

Se você quiser limpar e remover um recurso Azure OpenAI, poderá excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui outros recursos associados a ele.

• Azure portal
• CLI do Azure

Use este artigo para começar a usar o SDK do JavaScript OpenAI para implantar e usar um modelo de chat habilitado para visão.

Esse SDK é fornecido pela OpenAI com tipos específicos do Azure fornecidos pelo Azure.

Reference documentation | Library source code | Package (npm) | Samples

Pré-requisitos

• Uma assinatura Azure – Criar uma gratuitamente
• Versões LTS de Node.js
• TypeScript
• CLI do Azure usado para autenticação sem senha em um ambiente de desenvolvimento local, crie o contexto necessário entrando com o CLI do Azure.
• Um recurso Azure OpenAI criado em uma região com suporte (consulte disponibilidade de região). Para obter mais informações, consulte Criar um recurso e implantar um modelo com Azure OpenAI.

Microsoft Entra ID pré-requisitos

Para a autenticação sem chave recomendada com Microsoft Entra ID, você precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribua a Cognitive Services User função à sua conta de usuário. Você pode atribuir funções no portal do Azure em Controle de Acesso (IAM)>Adicionar atribuição de função.

Configurar

1. Crie uma nova pasta vision-quickstart e vá para a pasta de início rápido com o seguinte comando:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Crie o package.json com o seguinte comando:

   npm init -y
   

3. Atualize o package.json para o ECMAScript com o seguinte comando:

   npm pkg set type=module
   

4. Instale a biblioteca de clientes OpenAI para JavaScript com:

   npm install openai
   

5. Para a autenticação sem senha recomendada :

   npm install @azure/identity
   

Recuperar informações do recurso

Você precisa recuperar as seguintes informações para autenticar seu aplicativo com seu Azure recurso OpenAI:

Criar um novo aplicativo JavaScript para prompts de imagem

Selecione uma imagem no azure-samples/cognitive-services-sample-data-files. Use a URL da imagem no código abaixo ou defina a variável de IMAGE_URL ambiente como a URL da imagem.

Limpar recursos

Se você quiser limpar e remover um recurso Azure OpenAI, poderá excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui outros recursos associados a ele.

• Azure portal
• CLI do Azure

Use este artigo para começar a usar o Azure OpenAI .NET SDK para implantar e usar um modelo de chat habilitado para visão.

Pré-requisitos

• Uma assinatura Azure. Você pode criar um gratuitamente.
• O SDK do .NET 8.0
• Um recurso do Azure OpenAI nos Microsoft Foundry Models com um modelo de chat com suporte a visão implantado. Consulte a disponibilidade do modelo para regiões disponíveis. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.

Microsoft Entra ID pré-requisitos

Para a autenticação sem chave recomendada com Microsoft Entra ID, você precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribua a Cognitive Services User função à sua conta de usuário. Você pode atribuir funções no portal do Azure em Controle de Acesso (IAM)>Adicionar atribuição de função.

Configurar

1. Crie uma nova pasta vision-quickstart e vá para a pasta de início rápido com o seguinte comando:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Crie um novo aplicativo de console com o seguinte comando:

   dotnet new console
   

3. Instale a biblioteca de clientes .NET OpenAI com o comando dotnet add package:

   dotnet add package Azure.AI.OpenAI
   

4. Para a autenticação recomendada sem chave com Microsoft Entra ID, instale o pacote Azure.Identity com:

   dotnet add package Azure.Identity
   

5. Para a recomendada autenticação sem chave com Microsoft Entra ID, faça logon no Azure com o seguinte comando:

   az login
   

Recuperar informações do recurso

Você precisa recuperar as seguintes informações para autenticar seu aplicativo com seu Azure recurso OpenAI:

Executar o início rápido

O código de exemplo neste início rápido usa Microsoft Entra ID para a autenticação sem chave recomendada. Se você preferir usar uma chave de API, poderá substituir o DefaultAzureCredential objeto por um AzureKeyCredential objeto.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Para executar o início rápido, siga estas etapas:

1. Substitua o conteúdo de Program.cs com o seguinte código e atualize os valores de espaço reservado com seus próprios valores.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   string deploymentName = "gpt-4";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUrl = "YOUR_IMAGE_URL";
   
   var textPart = ChatMessageContentPart.CreateTextPart("Describe this picture:");
   var imgPart = ChatMessageContentPart.CreateImagePart(imageUrl); 
   
   var chatMessages = new List<ChatMessage>
   {
       new SystemChatMessage("You are a helpful assistant."),
       new UserChatMessage(textPart, imgPart)
   
   };
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(chatMessages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

2. Substitua YOUR_IMAGE_URL pela imagem publicamente acessível que você deseja carregar.

3. Execute o aplicativo usando o comando dotnet run ou o botão executar na parte superior do Visual Studio:

   dotnet run
   

Saída

A saída do aplicativo será uma descrição da imagem fornecida na imageUri variável. O assistente analisará a imagem e fornecerá uma descrição detalhada com base em seu conteúdo.

Limpar recursos

Se você quiser limpar e remover um recurso Azure OpenAI, poderá excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui outros recursos associados a ele.

• Azure portal
• CLI do Azure