Implantar modelos de software livre com computação gerenciada (versão prévia)

1. Selecione Implantar no cartão de modelo para abrir o assistente de implantação.

2. Especifique um nome de implantação. O nome da implantação é o que seu aplicativo passa no campo model durante a inferência — escolha um nome estável e adequado para o aplicativo (por exemplo, nemotron-3-nano-30b).

3. O tipo de implantação (Computação Gerenciada Global) é pré-selecionado no assistente de implantação.

4. Selecione o modelo de implantação que corresponde à carga de trabalho. Por exemplo, o modelo predefinido H100 com um único acelerador para obter o menor custo com um comprimento de contexto moderado, ou um modelo predefinido com dois aceleradores se seus prompts excederem o limite de contexto de um único acelerador.

5. Selecione o tipo acelerador, por exemplo, H100_80GB.

6. Defina instâncias de modelo como 1 (ou superior, se você mediu sua carga de trabalho). As instâncias de modelo determinam o tamanho da computação gerenciada e correspondem ao valor capacity da SKU de implantação. Cada instância consome a contagem de aceleradores definida pelo modelo; por exemplo, um modelo que especifica um H100 por instância com capacidade 2 usa dois aceleradores H100 no total.

   Tip

   Comece com capacity: 1, para a primeira implantação, e, em seguida, expanda horizontalmente aumentando a capacidade após medir sua carga de trabalho. Consulte Gerenciar e dimensionar a implantação para saber como aumentar a capacidade.

7. Marque a caixa de seleção para reconhecer o custo da implantação.

8. Selecione Implantar. O provisionamento normalmente leva de 10 a 15 minutos.

Verificar a implantação

A página de detalhes da implantação é atualizada de Creating para Succeeded quando o modelo estiver ativo por trás do ponto de extremidade do Foundry. Você pode ver detalhes sobre a implantação, incluindo o estado de provisionamento, o tipo de implantação e outras seleções feitas durante a criação da implantação.

Enviar uma solicitação de teste

Quando a implantação estiver pronta, teste-a interativamente no Foundry Playground.

1. Selecione a guia Playground para alternar para ela na página Detalhes da implantação.
2. Envie um prompt para testar a implantação.

Monitorar a implantação

As implantações de computação gerenciada geram métricas na mesma interface do Azure Monitor que as outras implantações do Foundry. Na página de detalhes da implantação no portal do Foundry, a guia Monitor mostra:

• Contagem de solicitações agrupada pelo código de status HTTP.
• Percentis de tempo de resposta (p50, p90, p99).
• Para modelos de conclusões de chat: contagem de tokens de entrada e saída, percentis de tempo até o primeiro token (TTFT) e percentis de tempo de decodificação entre tokens.

Para análise ou alertas mais profundos, abra a implantação no portal Azure e use Metrics em Monitoring para mapear as mesmas métricas, agrupar por implantação e configurar alertas. As etiquetas de cobrança por implantação são geradas automaticamente. Filtre o Gerenciamento de Custos pela marca de implantação para atribuir gastos a uma implantação de computação gerenciada específica. Para obter detalhes, consulte Plane e gerencie os custos para Microsoft Foundry.

Excluir a implantação

A exclusão de uma implantação libera sua alocação de acelerador e interrompe a cobrança imediatamente. Para excluir uma implantação:

1. Vá para a lista de implantações no portal do Foundry.
2. Selecione o botão de rádio ao lado do nome da implantação.
3. No painel direito, selecione Excluir.

Solicitar mais cota

A cota de computação gerenciada é concedida por família de aceleradores, por região, por meio do processo de cotas do Foundry e é separada da cota de VM do Azure. A cota de VM Azure existente não pode ser aplicada a uma implantação de computação gerenciada.

Para solicitar mais cota:

1. Selecione Operações na navegação no canto superior direito e, em seguida, Cota no painel esquerdo.
2. Selecione a guia Computação gerenciada . A tabela lista as alocações atuais agrupadas pela família e região do acelerador.
3. Selecione a cota de solicitação no canto superior direito.
4. No formulário de solicitação, escolha a família de aceleradores (A100, H100 ou MI300X), a região de destino e a cota solicitada. Envie a solicitação.

Permita até 15 minutos para que uma alteração de cota aprovada seja propagada. Atualize a página Cota para verificar a alocação atualizada. Para obter mais informações sobre conceitos de cota, consulte Gerenciar e aumentar as cotas para recursos.

Use o script de Python a seguir para implantar o modelo. Substitua os marcadores de posição pelo seu próprio ID de assinatura, grupo de recursos, nome da conta do Foundry e nome da implantação.

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

SUBSCRIPTION_ID  = "<your-subscription-id>"
RESOURCE_GROUP   = "<your-resource-group>"
ACCOUNT_NAME     = "<your-foundry-account>"
DEPLOYMENT_NAME  = "nemotron-3-nano-30b"

MODEL = "azureml://registries/azure-huggingface/models/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8/versions/2"
TEMPLATE = "azureml://registries/azure-huggingface/deploymenttemplates/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8--nvidia-h100/labels/latest"

client = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": MODEL,
            "deploymentTemplate": TEMPLATE,
            "acceleratorType": "H100_80GB",
            "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        },
    },
).result()  # blocks until terminal state (~10–15 min)

print(f"State: {deployment.properties.provisioning_state}")
print(f"ID:    {deployment.id}")

Verificar a implantação

Depois que a implantação for criada, confirme se ela está íntegra antes de enviar o tráfego.

d = client.managed_compute_deployments.get(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
)

print(f"State:        {d.properties.provisioning_state}")    # expect: Succeeded
print(f"Model:        {d.properties.model}")
print(f"Template:     {d.properties.deployment_template}")
print(f"Accelerator:  {d.properties.accelerator_type}")
print(f"Capacity:     {d.sku.capacity}")

Pesquisar por:

• provisioningState: Succeeded significa que a implantação está ativa.
• acceleratorType corresponde ao valor solicitado.
• sku.capacity corresponde ao número de instâncias solicitadas.

Se provisioningState estiver Failed, consulte Solução de problemas.

Enviar uma solicitação de teste

As implantações de computação gerenciada podem ser acessadas por meio do endpoint unificado do Foundry em:

https://<account>.services.ai.azure.com/openai/v1/

O model campo no corpo da solicitação usa o nome de implantação especificado, não a ID do modelo.

from azure.identity import DefaultAzureCredential, get_bearer_token_provider
from openai import OpenAI

ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(),
    "https://cognitiveservices.azure.com/.default",
)

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key="placeholder",  # required by OpenAI SDK; overridden by Authorization header
    default_headers={"Authorization": f"Bearer {token_provider()}"},
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
from openai import OpenAI

SUBSCRIPTION_ID = "<your-subscription-id>"
RESOURCE_GROUP  = "<your-resource-group>"
ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

mgmt = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)
api_key = mgmt.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key=api_key,
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

Gerenciar e dimensionar a implantação

Como as implantações de computação gerenciada são centradas no modelo, você dimensiona as implantações alterando o número de instâncias de modelo, não dimensionando um nó.

Alterar capacidade

d = client.managed_compute_deployments.get(
    RESOURCE_GROUP, ACCOUNT_NAME, DEPLOYMENT_NAME
)
d.sku.capacity = 3

client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource=d,
).result()

Obter atualizações de runtime e de modelo

Definir versionUpgradeOption como OnceNewDefaultVersionAvailable na implantação faz com que ela passe a adotar novas versões padrão de modelo e de ambiente de execução quando a Microsoft as publica. Patches de runtime e correções de CVE são aplicados automaticamente às implantações de clientes em produção; não é necessário reimplantar o modelo para recebê-los.

Monitorar a implantação

As implantações de computação gerenciada emitem métricas na mesma interface do Azure Monitor que as outras implantações do Foundry. Para análise ou alertas mais profundos, abra a implantação no portal Azure e use Metrics em Monitoring para gráficos de métricas como:

• Contagem de solicitações agrupada pelo código de status HTTP.
• Percentis de tempo de resposta (p50, p90, p99).
• Para modelos de conclusão de chat: contagens de tokens de entrada e de saída, percentis de tempo até o primeiro token (TTFT) e percentis de tempo de decodificação entre tokens.

Você também pode agrupar por implantação e configurar alertas. As etiquetas de cobrança por implantação são geradas automaticamente. Filtre o Gerenciamento de Custos pela marca de implantação para atribuir gastos a uma implantação de computação gerenciada específica. Para obter detalhes, consulte Plane e gerencie os custos para Microsoft Foundry.

Excluir a implantação

A exclusão de uma implantação libera sua alocação de acelerador e interrompe a cobrança imediatamente. Para excluir uma implantação:

client.managed_compute_deployments.begin_delete(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
).result()