Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Aplica-se somente a:Portal Foundry (clássico). Este artigo não está disponível para o novo portal do Foundry.
Saiba mais sobre o novo portal.
Nota
Links neste artigo podem abrir conteúdo na nova documentação do Microsoft Foundry em vez da documentação da Foundry (clássica) que você está exibindo agora.
Importante
Itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou ter recursos restritos. Para obter mais informações, consulte Supplemental Terms of Use for Microsoft Azure Previews.
Neste artigo, você aprenderá a implantar um modelo Microsoft Foundry como uma implantação de API sem servidor. Determinados modelos no catálogo de modelos podem ser implantados como uma implantação de API sem servidor. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativa necessárias pelas organizações. Essa opção de implantação não requer cota de sua assinatura.
Embora a implantação da API sem servidor seja uma opção para implantar modelos do Foundry, recomendamos que você implante modelos do Foundry em recursos do Foundry.
Nota
Recomendamos que você implante Modelos Microsoft Foundry em Foundry resources para que você possa consumir suas implantações no recurso por meio de um único endpoint com a mesma autenticação e esquema, gerando inferência. O endpoint segue a Azure API de Inferência de Modelo de IA a qual todos os Foundry Models dão suporte. Para saber como implantar um Foundry Model nos recursos do Foundry, consulte Adicionar e configurar modelos nos Foundry Models.
Pré-requisitos
Uma assinatura Azure com uma forma de pagamento válida. As assinaturas de Azure gratuitas ou de avaliação não funcionarão. Se você não tiver uma assinatura Azure, crie uma conta de Azure paga para começar.
Se você não tiver um, crie um projeto baseado em hub.
Verifique se o recurso Implantar modelos em recursos do Foundry (versão prévia) está desativado no portal do Foundry. Quando esse recurso está ativado, as implantações de API sem servidor não estão disponíveis no portal.
Os Foundry Models de Parceiros e Comunidade exigem acesso à Azure Marketplace, enquanto os Foundry Models vendidos diretamente pela Azure não têm esse requisito. Verifique se você tem as permissões necessárias para assinar ofertas de modelo no Azure Marketplace.
Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso às operações no portal Foundry. Para executar as etapas neste artigo, sua conta de usuário deve receber a função Azure AI Developer role no grupo de recursos. Para obter mais informações sobre permissões, consulte o controle de acesso baseado em função no portal do Foundry.
- Você pode usar qualquer navegador da Web compatível para navegar na Foundry.
Localizar seu modelo no catálogo de modelos
- Entre no Microsoft Foundry. Certifique-se de que o alternador New Foundry está desativado. Essas etapas referem-se ao Foundry (clássico).
- Se você ainda não estiver em seu projeto, selecione-o.
- Selecione o catálogo de modelos no painel esquerdo.
Selecione o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo DeepSeek-R1 .
Selecione Usar esse modelo para abrir a janela de implantação da API sem servidor , na qual você pode exibir a guia Preços e termos .
No assistente de implantação, dê um nome à implantação. A opção Filtro de conteúdo (versão prévia) está habilitada por padrão. Deixe a configuração padrão para que o serviço detecte conteúdo prejudicial, como ódio, automutilação, conteúdo sexual e violento. Para obter mais informações sobre filtragem de conteúdo, consulte Filtragem de conteúdo no portal do Foundry.
Implantar o modelo em uma API sem servidor
Nesta seção, você criará um ponto de extremidade para seu modelo.
No assistente de implantação, selecione Implantar. Aguarde até que a implantação esteja pronta e você seja redirecionado para a página Implantações.
Para ver os pontos de extremidade implantados em seu projeto, na seção Meus ativos do painel esquerdo, selecione Modelos + pontos de extremidade.
O ponto de extremidade criado usa autenticação de chave para autorização. Para obter as chaves associadas a um determinado ponto de extremidade, siga estas etapas:
Selecione a implementação e anote o Target URI e a Key do ponto de extremidade.
Utilize essas credenciais para chamar a implantação e gerar previsões.
Se você precisar consumir essa implantação de um projeto ou hub diferente ou planejar usar o "Prompt flow" para criar aplicativos inteligentes, será necessário estabelecer uma conexão com a implantação da API sem servidor. Para aprender a configurar uma implantação já existente de API sem servidor em um novo projeto ou hub, veja Consumir a implantação de API sem servidor de um projeto diferente ou do Prompt flow.
Dica
Se você estiver usando o Prompt Flow no mesmo projeto ou hub onde a implantação ocorreu, ainda precisará criar a conexão.
Usar a implantação da API sem servidor
Os modelos implantados no Azure Machine Learning e no Foundry em implantações de API sem servidor dão suporte à Azure API de Inferência de Modelo de IA que expõe um conjunto comum de recursos para modelos fundamentais e que podem ser usados pelos desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.
Leia mais sobre os recursos dessa API e como você pode usá-la ao criar aplicativos.
Excluir endpoints e assinaturas
Dica
Como você pode customize o painel esquerdo no portal do Microsoft Foundry, você pode ver itens diferentes dos mostrados nestas etapas. Se você não vir o que está procurando, selecione ... Mais na parte inferior do painel esquerdo.
Você pode excluir assinaturas de modelo e pontos de extremidade. Excluir uma assinatura de modelo torna qualquer ponto de extremidade associado não saudável e inutilizável.
Para excluir uma implantação de API sem servidor:
- Vá para a Foundry.
- Vá para o seu projeto.
- Na seção Meus ativos , selecione Modelos + pontos de extremidade.
- Abra a implantação que você deseja excluir.
- Selecione Excluir.
Para excluir a assinatura de modelo associada:
- Vá para o portal Azure
- Navegue até o grupo de recursos ao qual o projeto pertence.
- No filtro Tipo , selecione SaaS.
- Selecione a assinatura que você deseja excluir.
- Selecione Excluir.
Para trabalhar com o Foundry, instale o CLI do Azure e a extensão ml para Azure Machine Learning.
az extension add -n mlSe você já tiver a extensão instalada, verifique se a versão mais recente está instalada.
az extension update -n mlDepois que a extensão for instalada, configure-a:
az account set --subscription <subscription> az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
Localizar seu modelo no catálogo de modelos
- Entre no Microsoft Foundry. Certifique-se de que o alternador New Foundry está desativado. Essas etapas referem-se ao Foundry (clássico).
- Se você ainda não estiver em seu projeto, selecione-o.
- Selecione o catálogo de modelos no painel esquerdo.
Selecione o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo DeepSeek-R1 .
Copie a ID do modelo sem incluir a versão do modelo, já que implantações de API sem servidor sempre implantam a versão mais recente do modelo disponível. Por exemplo, para a ID do modelo
azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1, copieazureml://registries/azureml-deepseek/models/DeepSeek-R1.Uma captura de tela mostrando a página de detalhes de um modelo vendido diretamente pela Azure.
As etapas nesta seção do artigo usam o modelo DeepSeek-R1 para ilustração. As etapas são as mesmas, independentemente de você estar usando modelos Foundry vendidos diretamente pela Azure ou modelos Foundry de parceiros e da comunidade. Por exemplo, se você optar por implantar o modelo Cohere-command-r-08-2024 , poderá substituir as credenciais de modelo nos snippets de código pelas credenciais do Cohere.
Implantar o modelo em uma API sem servidor
Nesta seção, você criará um ponto de extremidade para seu modelo. Nomeie o ponto de extremidade DeepSeek-R1-qwerty.
Crie o ponto de extremidade sem servidor.
endpoint.yml
name: DeepSeek-R1-qwerty model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1Use o arquivo endpoint.yml para criar o endpoint:
az ml serverless-endpoint create -f endpoint.ymlA qualquer momento, você pode ver os endpoints implantados em seu projeto:
az ml serverless-endpoint listO ponto de extremidade criado usa autenticação de chave para autorização. Use as etapas a seguir para obter as chaves associadas a um determinado endpoint.
az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwertySe você precisar consumir essa implantação de um projeto ou hub diferente ou planejar usar o "Prompt flow" para criar aplicativos inteligentes, será necessário estabelecer uma conexão com a implantação da API sem servidor. Para aprender a configurar uma implantação já existente de API sem servidor em um novo projeto ou hub, veja Consumir a implantação de API sem servidor de um projeto diferente ou do Prompt flow.
Dica
Se você estiver usando o Prompt Flow no mesmo projeto ou hub onde a implantação ocorreu, ainda precisará criar a conexão.
Usar a implantação da API sem servidor
Os modelos implantados no Azure Machine Learning e no Foundry em implantações de API sem servidor dão suporte à Azure API de Inferência de Modelo de IA que expõe um conjunto comum de recursos para modelos fundamentais e que podem ser usados pelos desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.
Leia mais sobre os recursos dessa API e como você pode usá-la ao criar aplicativos.
Excluir endpoints e assinaturas
Você pode excluir assinaturas de modelo e pontos de extremidade. Excluir uma assinatura de modelo torna qualquer ponto de extremidade associado não saudável e inutilizável.
Para excluir uma implantação de API sem servidor:
az ml serverless-endpoint delete \
--name "DeepSeek-R1-qwerty"
Para excluir a assinatura de modelo associada:
az ml marketplace-subscription delete \
--name "DeepSeek-R1"
Para trabalhar com o Foundry, instale o SDK Azure Machine Learning para Python.
pip install -U azure-ai-mlDepois de instalado, importe os namespaces necessários e crie um cliente conectado ao seu projeto:
from azure.ai.ml import MLClient from azure.identity import InteractiveBrowserCredential from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint client = MLClient( credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"), subscription_id="<subscription-id>", resource_group_name="<resource-group>", workspace_name="<project-name>", )
Localizar seu modelo no catálogo de modelos
- Entre no Microsoft Foundry. Certifique-se de que o alternador New Foundry está desativado. Essas etapas referem-se ao Foundry (clássico).
- Se você ainda não estiver em seu projeto, selecione-o.
- Selecione o catálogo de modelos no painel esquerdo.
Selecione o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo DeepSeek-R1 .
Copie a ID do modelo sem incluir a versão do modelo, já que implantações de API sem servidor sempre implantam a versão mais recente do modelo disponível. Por exemplo, para a ID do modelo
azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1, copieazureml://registries/azureml-deepseek/models/DeepSeek-R1.Uma captura de tela mostrando a página de detalhes de um modelo vendido diretamente pela Azure.
As etapas nesta seção do artigo usam o modelo DeepSeek-R1 para ilustração. As etapas são as mesmas, independentemente de você estar usando modelos Foundry vendidos diretamente pela Azure ou modelos Foundry de parceiros e da comunidade. Por exemplo, se você optar por implantar o modelo Cohere-command-r-08-2024 , poderá substituir as credenciais de modelo nos snippets de código pelas credenciais do Cohere.
Implantar o modelo em uma API sem servidor
Nesta seção, você criará um ponto de extremidade para seu modelo. Nomeie o ponto de extremidade DeepSeek-R1-qwerty.
Crie o ponto de extremidade sem servidor.
endpoint_name="DeepSeek-R1-qwerty" serverless_endpoint = ServerlessEndpoint( name=endpoint_name, model_id=model_id ) created_endpoint = client.serverless_endpoints.begin_create_or_update( serverless_endpoint ).result()A qualquer momento, você pode ver os endpoints implantados em seu projeto:
endpoint_name="DeepSeek-R1-qwerty" serverless_endpoint = ServerlessEndpoint( name=endpoint_name, model_id=model_id ) created_endpoint = client.serverless_endpoints.begin_create_or_update( serverless_endpoint ).result()O ponto de extremidade criado usa autenticação de chave para autorização. Use as etapas a seguir para obter as chaves associadas a um determinado endpoint.
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name) print(endpoint_keys.primary_key) print(endpoint_keys.secondary_key)Se você precisar consumir essa implantação de um projeto ou hub diferente ou planejar usar o "Prompt flow" para criar aplicativos inteligentes, será necessário estabelecer uma conexão com a implantação da API sem servidor. Para aprender a configurar uma implantação já existente de API sem servidor em um novo projeto ou hub, veja Consumir a implantação de API sem servidor de um projeto diferente ou do Prompt flow.
Dica
Se você estiver usando o Prompt Flow no mesmo projeto ou hub onde a implantação ocorreu, ainda precisará criar a conexão.
Usar a implantação da API sem servidor
Os modelos implantados no Azure Machine Learning e no Foundry em implantações de API sem servidor dão suporte à Azure API de Inferência de Modelo de IA que expõe um conjunto comum de recursos para modelos fundamentais e que podem ser usados pelos desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.
Leia mais sobre os recursos dessa API e como você pode usá-la ao criar aplicativos.
Excluir endpoints e assinaturas
Você pode excluir assinaturas de modelo e pontos de extremidade. Excluir uma assinatura de modelo torna qualquer ponto de extremidade associado não saudável e inutilizável.
client.serverless_endpoints.begin_delete(endpoint_name).wait()
Para excluir a assinatura de modelo associada:
client.marketplace_subscriptions.begin_delete(subscription_name).wait()
Para trabalhar com o Foundry, instale o CLI do Azure conforme descrito em CLI do Azure.
Configure as seguintes variáveis de ambiente de acordo com suas configurações:
RESOURCE_GROUP="serverless-models-dev" LOCATION="eastus2"
Localizar seu modelo no catálogo de modelos
- Entre no Microsoft Foundry. Certifique-se de que o alternador New Foundry está desativado. Essas etapas referem-se ao Foundry (clássico).
- Se você ainda não estiver em seu projeto, selecione-o.
- Selecione o catálogo de modelos no painel esquerdo.
Selecione o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo DeepSeek-R1 .
Copie a ID do modelo sem incluir a versão do modelo, já que implantações de API sem servidor sempre implantam a versão mais recente do modelo disponível. Por exemplo, para a ID do modelo
azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1, copieazureml://registries/azureml-deepseek/models/DeepSeek-R1.Uma captura de tela mostrando a página de detalhes de um modelo vendido diretamente pela Azure.
As etapas nesta seção do artigo usam o modelo DeepSeek-R1 para ilustração. As etapas são as mesmas, independentemente de você estar usando modelos Foundry vendidos diretamente pela Azure ou modelos Foundry de parceiros e da comunidade. Por exemplo, se você optar por implantar o modelo Cohere-command-r-08-2024 , poderá substituir as credenciais de modelo nos snippets de código pelas credenciais do Cohere.
Implantar o modelo em uma API sem servidor
Nesta seção, você criará um ponto de extremidade para seu modelo. Nomeie o ponto de extremidade myserverless-text-1234ss.
Crie o ponto de extremidade sem servidor. Use o seguinte modelo para criar um ponto de extremidade:
serverless-endpoint.bicep
param projectName string = 'my-project' param endpointName string = 'myserverless-text-1234ss' param location string = resourceGroup().location param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1' var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1)) // Replace period character which is used in some model names (and is not valid in the subscription name) var sanitizedModelName = replace(modelName, '.', '') var subscriptionName = '${sanitizedModelName}-subscription' resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = { name: '${projectName}/${endpointName}' location: location sku: { name: 'Consumption' } properties: { modelSettings: { modelId: modelId } } dependsOn: [ projectName_subscription ] } output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uriCrie a implantação da seguinte maneira:
az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicepA qualquer momento, você pode ver os endpoints implantados em seu projeto:
Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa CLI do Azure:
az resource list \ --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"O ponto de extremidade criado usa autenticação de chave para autorização. Obtenha as chaves associadas ao ponto de extremidade especificado usando APIs REST para consultar essas informações.
Se você precisar consumir essa implantação de um projeto ou hub diferente ou planejar usar o "Prompt flow" para criar aplicativos inteligentes, será necessário estabelecer uma conexão com a implantação da API sem servidor. Para aprender a configurar uma implantação já existente de API sem servidor em um novo projeto ou hub, veja Consumir a implantação de API sem servidor de um projeto diferente ou do Prompt flow.
Dica
Se você estiver usando o Prompt Flow no mesmo projeto ou hub onde a implantação ocorreu, ainda precisará criar a conexão.
Usar a implantação da API sem servidor
Os modelos implantados no Azure Machine Learning e no Foundry em implantações de API sem servidor dão suporte à Azure API de Inferência de Modelo de IA que expõe um conjunto comum de recursos para modelos fundamentais e que podem ser usados pelos desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.
Leia mais sobre os recursos dessa API e como você pode usá-la ao criar aplicativos.
Excluir endpoints e assinaturas
Você pode excluir assinaturas de modelo e pontos de extremidade. Excluir uma assinatura de modelo torna qualquer ponto de extremidade associado não saudável e inutilizável.
Você pode usar as ferramentas de gerenciamento de recursos para gerenciar os recursos. O código a seguir usa CLI do Azure:
az resource delete --name <resource-name>
Considerações sobre custo e cota para Modelos Foundry desdobrados como uma API sem servidor.
A cota é gerenciada por implantação. Cada implantação tem um limite de taxa de 200.000 tokens por minuto e 1.000 solicitações de API por minuto. Além disso, atualmente, limitamos uma implantação por modelo por projeto. Entre em contato com Microsoft Azure Suporte se os limites de taxa atuais não forem suficientes para seus cenários.
Você pode encontrar informações de preços para modelos vendidos diretamente pela Azure na guia Preços e termos da janela Implantação de API sem servidor.
Modelos de Parceiros e Comunidade são oferecidos por meio do Azure Marketplace e integrados à Foundry para uso. Você pode encontrar os preços do Azure Marketplace ao implantar ou aperfeiçoar esses modelos. Sempre que um projeto assina uma determinada oferta de Azure Marketplace, um novo recurso é criado para acompanhar os custos associados ao seu consumo. O mesmo recurso é usado para monitorar os custos associados à inferência e ajuste fino; no entanto, vários medidores estão disponíveis para monitorar cada cenário separadamente. Para obter mais informações sobre como rastrear os custos, consulte Monitorar custos para modelos oferecidos via Azure Marketplace.
Permissões necessárias para assinar ofertas de modelos
Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso às operações no portal Foundry. Para executar as etapas neste artigo, sua conta de usuário deve receber a função Owner, Contributor ou Desenvolvedor de IA do Azure para a assinatura do Azure. Como alternativa, sua conta pode receber uma função personalizada que tenha as seguintes permissões:
Na assinatura do Azure, para inscrever o workspace na oferta do Azure Marketplace, uma vez para cada workspace, por oferta:
Microsoft.MarketplaceOrdering/agreements/offers/plans/readMicrosoft.MarketplaceOrdering/agreements/offers/plans/sign/actionMicrosoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/readMicrosoft.Marketplace/offerTypes/publishers/offers/plans/agreements/readMicrosoft.SaaS/register/action
No grupo de recursos , para criar e usar o recurso SaaS:
Microsoft.SaaS/resources/readMicrosoft.SaaS/resources/write
No workspace - para implantar endpoints (a função de cientista de dados do Azure Machine Learning já contém essas permissões):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
Para obter mais informações sobre permissões, consulte o controle de acesso baseado em função no portal do Foundry.