Visão geral da implantação para modelos de Microsoft foundry (clássico)

Aplica-se somente a:Portal Foundry (clássico). Este artigo não está disponível para o novo portal do Foundry. Saiba mais sobre o novo portal.

O catálogo de modelos no Microsoft Foundry é o hub para descobrir e usar uma ampla gama de Modelos de Fundação para a criação de aplicativos de IA generativos. Você precisa implantar modelos para disponibilizá-los para receber solicitações de inferência. A Foundry oferece um conjunto abrangente de opções de implantação para Modelos Foundry, dependendo das suas necessidades e requisitos de modelo.

Opções de implantação

A Foundry fornece várias opções de implantação, dependendo do tipo de modelos e recursos necessários para provisionar. As seguintes opções de implantação estão disponíveis:

• Implantação padrão em recursos do Foundry
• Implantação em pontos de extremidade de API sem servidor
• Implantação para computação gerenciada

O portal Foundry pode escolher automaticamente uma opção de deployment com base em seu ambiente e configuração. Use os recursos do Foundry para implantação sempre que possível. Modelos que oferecem suporte a várias opções de implantação utilizam recursos do Foundry como padrão para implantação. Para acessar outras opções de implantação, use o SDK CLI do Azure ou Azure Machine Learning para implantação.

Implantação padrão em recursos do Foundry

Os recursos do Foundry são a opção de implantação preferida na Foundry. Ele oferece a maior variedade de recursos, incluindo processamento regional, de zona de dados ou global, e oferece opções de PTU (taxa de transferência padrão e provisionada). Os modelos carro-chefe nos Foundry Models dão suporte a essa opção de implantação.

Esta opção de implantação está disponível em:

• Recursos de fundição
• Recursos do Azure OpenAI¹
• Azure hub de IA, quando conectado a um recurso do Foundry

¹Se você usar os recursos Azure OpenAI, o catálogo de modelos mostrará apenas Azure OpenAI em Modelos de Foundry para implantação. Você pode obter a lista completa de modelos do Foundry ao atualizar para um recurso Foundry.

Para começar a usar a implementação padrão em recursos do Foundry, confira Como implantar modelos em Foundry Models.

Endpoint de API sem servidor

Essa opção de implantação só está disponível nos recursos doHub de IA. Ele permite a criação de endpoints dedicados para hospedar o modelo, acessíveis por meio de uma API. Os Modelos Foundry oferecem suporte a endpoints de API sem servidor com cobrança paga conforme o uso, e você pode criar apenas implantações regionais para endpoints de API sem servidor.

Para iniciar a implantação de modelos em um endpoint de API serverless, consulte Implantar modelos em implantações de API serverless.

Computação gerenciada

Essa opção de implantação só está disponível nos recursos doHub de IA. Ele permite que você crie um ponto de extremidade dedicado para hospedar o modelo em uma computação dedicada. Você precisa ter uma cota de recursos computacionais em sua assinatura para hospedar o modelo, e você será cobrado com base no tempo de uso dos recursos computacionais.

A implantação de computação gerenciada é necessária para coleções de modelos que incluem:

• Abraçando o rosto
• Microsserviços de inferência NVIDIA (NIMs)
• Modelos da indústria (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
• Databricks
• Modelos personalizados

Para começar, consulte Como realizar a implantação e inferência em um ambiente de computação gerenciado e Implantar Modelos Foundry em computação gerenciada com cobrança conforme o uso.

Recursos para as opções de implantação

Use implantações padrão em recursos do Foundry sempre que possível. Essa opção de implantação fornece a maioria dos recursos entre as opções de implantação disponíveis. A tabela a seguir lista detalhes sobre recursos específicos para cada opção de implantação:

² Uma infraestrutura mínima de endpoint é cobrada por minuto. Você não é cobrado pela infraestrutura que hospeda o modelo na implantação sem servidor. Depois de excluir o ponto de extremidade, nenhum encargo adicional será acumulado.

^{A cobrança 3} é por minuto, dependendo da camada do produto e do número de instâncias usadas na implantação desde o momento da criação. Depois de excluir o ponto de extremidade, nenhum encargo adicional será acumulado.

Conteúdo relacionado

• Tipos de implantação em Modelos de Fundimento
• Deploy Microsoft Foundry Models no portal da Foundry
• Implantar Modelos Foundry da Microsoft para computação gerenciada com cobrança conforme o uso
• Explorar modelos de fundição