Como implementar e inferir com uma implementação de computação gerida (clássico)

Implementar o modelo

1. Na página do modelo, selecione Usar este modelo. Esta ação abre a janela de implementação se o modelo selecionado puder ser implementado apenas numa computação gerida.

2. Alternativamente, se selecionaste um modelo que também suporta outra opção de implementação, ficas na janela "Opções de compra". Selecione a opção de compra de Computação Gerida para abrir a janela de implementação.

   • Selecione a caixa de seleção na janela de implementação para usar a quota partilhada temporária. Para a implementação numa computação gerida auto-hospedada, deve ter uma quota suficiente na sua subscrição. Se não tiver quota suficiente disponível, pode usar o nosso acesso temporário à quota selecionando a opção que quero usar quota partilhada e reconheço que este endpoint será eliminado em 168 horas.

3. A janela de implementação é pré-preenchida com algumas seleções e valores de parâmetros. Podes mantê-los ou mudá-los conforme quiseres. Também pode selecionar um endpoint existente para a implementação ou criar um novo. Neste exemplo, especifique uma contagem de instâncias de 1 e crie um novo endpoint para a implementação.

   

4. Selecione Implementar para criar a sua implementação. O processo de criação pode demorar alguns minutos a concluir. Quando está concluído, o portal abre a página de implementação do modelo.

   Dica

   Para ver os endpoints implementados no seu projeto, vá à secção My assets do painel esquerdo e selecione Modelos + endpoints.

5. Confirma que a tua missão foi bem-sucedida. Na página de detalhes da implementação, verifique se o estado de Provisionamento mostra Bem-sucedido e o estado de Implementação mostra Saudável. Se detetar algum erro, consulte a secção de Resolução de Problemas .

6. O endpoint criado utiliza autenticação por chave para autorização. Para obter as chaves associadas a um determinado endpoint, siga estes passos:

   1. Selecione a implementação e anote o URI e a Chave de destino do endpoint.
   2. Use estas credenciais para chamar a implementação e gerar previsões.

   O URI Target segue este formato: https://<endpoint-name>.<region>.inference.ml.azure.com/score

Implementações de consumo

Depois de criar a sua implementação, siga estes passos para a consumir:

1. Selecione Modelos + endpoints na secção Meus ativos no seu projeto Foundry.
2. Selecione a sua implementação no separador de implementações de modelos.
3. Aceda ao separador Teste para realizar uma inferência de exemplo no endpoint.
4. Volte ao separador Detalhes para copiar o "Target URI" da implementação, que pode usar para fazer inferência com código.
5. Vá ao separador Consumir da implementação para encontrar exemplos de código para consumo.

6. Copie o ID do modelo da página de detalhes do modelo que selecionou. Fica assim para o modelo selecionado: azureml://registries/azureml/models/Phi-4/versions/8.

Implementar o modelo

1. Instale o SDK Azure Machine Learning.

   pip install azure-ai-ml
   pip install azure-identity
   

2. Autenticar com Azure Machine Learning e criar um objeto cliente. Substitua os marcadores de lugar pelo seu ID de subscrição, nome do grupo de recursos e nome do projeto Foundry.

   from azure.ai.ml import MLClient
   from azure.identity import InteractiveBrowserCredential
   
   workspace_ml_client = MLClient(
       credential=InteractiveBrowserCredential(),
       subscription_id="your subscription ID goes here",
       resource_group_name="your resource group name goes here",
       workspace_name="your project name goes here",
   )
   

   Este código autentica-se com o Azure usando credenciais de navegador interativas e cria um cliente para interagir com o seu projeto Foundry. Quando executa este código, abre-se uma janela do navegador para autenticação.

   Referência:MLClient, InteractiveBrowserCredential

3. Cria um endpoint. Para a opção de implementação de computação gerida, é necessário criar um endpoint antes de uma implementação do modelo. Pense num endpoint como um contentor que pode alojar múltiplas implementações de modelos. Os nomes dos endpoints precisam de ser únicos numa região, por isso, neste exemplo, use o carimbo temporal para criar um nome de endpoint único.

   import time, sys
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       ProbeSettings,
   )
   
   # Make the endpoint name unique
   timestamp = int(time.time())
   online_endpoint_name = "customize your endpoint name here" + str(timestamp)
   
   # Create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       auth_mode="key",
   )
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).wait()
   

   Este código cria um endpoint online gerido com autenticação baseada em chaves. A operação normalmente demora 2-3 minutos. Quando estiver concluído, terá uma URL de endpoint onde poderá implementar modelos.

   Referência:ManagedOnlineEndpoint, online_endpoints.begin_create_or_update

4. Crie uma implantação. Substitua o ID do modelo no próximo código pelo ID do modelo que copiou da página de detalhes do modelo que selecionou na secção Encontrar o seu modelo na secção de catálogo de modelos .

   model_name = "azureml://registries/azureml/models/Phi-4/versions/8" 
   
   demo_deployment = ManagedOnlineDeployment(
       name="demo",
       endpoint_name=online_endpoint_name,
       model=model_name,
       instance_type="Standard_DS3_v2",
       instance_count=2,
       liveness_probe=ProbeSettings(
           failure_threshold=30,
           success_threshold=1,
           timeout=2,
           period=10,
           initial_delay=1000,
       ),
       readiness_probe=ProbeSettings(
           failure_threshold=10,
           success_threshold=1,
           timeout=10,
           period=10,
           initial_delay=1000,
       ),
   )
   workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
   endpoint.traffic = {"demo": 100}
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).result()
   

   Este código implementa o modelo no seu endpoint com 2 instâncias de VM Standard_DS3_v2. A implantação inclui sondas de vivacidade e prontidão para monitorização da saúde. O tráfego está definido para 100% nesta implementação. A operação demora vários minutos a ser concluída. Quando terminado, o seu modelo está pronto para aceitar pedidos de inferência.

   Referência:GerenciadoOnlineDeployment, Configurações de Sonda, online_deployments.begin_create_or_update

Realizar inferência sobre a implantação

1. Precisas de dados JSON de exemplo para testar a inferência. Crie um ficheiro nomeado sample_score.json no seu diretório de trabalho com o seguinte conteúdo:

   {
     "inputs": {
       "question": [
         "Where do I live?",
         "Where do I live?",
         "What's my name?",
         "Which name is also used to describe the Amazon rainforest in English?"
       ],
       "context": [
         "My name is Wolfgang and I live in Berlin",
         "My name is Sarah and I live in London",
         "My name is Clara and I live in Berkeley.",
         "The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
       ]
     }
   }
   

2. Inferência com sample_score.json. Muda a localização do ficheiro de pontuação no código seguinte, com base no local onde guardaste o ficheiro JSON de amostra.

   import json
   
   scoring_file = "./sample_score.json" 
   response = workspace_ml_client.online_endpoints.invoke(
       endpoint_name=online_endpoint_name,
       deployment_name="demo",
       request_file=scoring_file,
   )
   response_json = json.loads(response)
   print(json.dumps(response_json, indent=2))
   

   Este código envia as perguntas de exemplo e o contexto para o modelo implementado e imprime as respostas. O modelo realiza perguntas e respostas extraindo texto relevante do contexto fornecido. O resultado esperado inclui o texto da resposta e as pontuações de confiança para cada pergunta.

   Referência:online_endpoints.invoke