Introducción a la implementación de modelos de Microsoft Foundry (clásico)

Solo se aplica a:portal Foundry (clásico). Este artículo no está disponible para el nuevo portal de Foundry. Obtenga más información sobre el nuevo portal.

El catálogo de modelos de Microsoft Foundry es el centro para detectar y usar una amplia gama de modelos foundry para crear aplicaciones de IA generativas. Debe implementar modelos para que estén disponibles para recibir solicitudes de inferencia. Foundry ofrece un conjunto completo de opciones de implementación para Foundry Models, en función de sus necesidades y requisitos de modelo.

Opciones de implementación

Foundry proporciona varias opciones de implementación en función del tipo de modelos y recursos que necesita aprovisionar. Están disponibles las siguientes opciones de implementación:

• Implementación estándar en recursos de Foundry
• Implementación en puntos de conexión de API sin servidor
• Implementación en sistemas gestionados

El portal de Foundry puede elegir automáticamente una opción de implementación en función del entorno y la configuración. Use los recursos de Foundry para la implementación siempre que sea posible. Modelos que admiten varias opciones de implementación utilizan por defecto los recursos de Foundry para la implementación. Para acceder a otras opciones de implementación, use el SDK de CLI de Azure o Azure Machine Learning para la implementación.

Implementación estándar en recursos de Foundry

Los recursos de Foundry son la opción de implementación preferida en Foundry. Ofrece la gama más amplia de capacidades, incluyendo el procesamiento regional, de zona de datos o global, y proporciona opciones de rendimiento de transferencia estándar y aprovisionado (PTU). Los modelos insignia de Foundry Models admiten esta opción de implementación.

Esta opción de implementación está disponible en:

• Recursos de fundición
• Recursos de Azure OpenAI¹
• Azure AI hub, cuando se conecta a un recurso Foundry

¹Si usa Azure recursos de OpenAI, el catálogo de modelos solo muestra Azure OpenAI en Foundry Models para su implementación. Puede obtener la lista completa de Modelos de Foundry actualizando a un recurso de Foundry.

Para empezar a trabajar con la implementación estándar en recursos de Foundry, consulte Procedimientos: Implementación de modelos en modelos de Foundry.

Punto de conexión de API sin servidor

Esta opción de implementación solo está disponible en los recursos de AI Hub. Permite crear puntos de conexión dedicados para hospedar el modelo, accesible a través de una API. Foundry Models admite puntos de conexión de API sin servidor con facturación de pago por uso y solo puede crear implementaciones regionales para puntos de conexión de API sin servidor.

Para empezar a trabajar con la implementación en un punto de conexión de API sin servidor, consulte Implementación de modelos como implementaciones de API sin servidor.

Cómputo administrado

Esta opción de implementación solo está disponible en los recursos de AI Hub. Permite crear un punto de conexión dedicado para hospedar el modelo en un proceso dedicado. Debe tener cuota de cálculo en la suscripción para hospedar el modelo, y se le factura por tiempo de actividad de cálculo.

La implementación de cómputo administrada es necesaria para las colecciones de modelos que incluyen:

• Hugging Face
• Microservicios de inferencia de NVIDIA (NIM)
• Modelos del sector (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
• Databricks
• Modelos personalizados

Para empezar, consulte Implementación y utilización de una implementación computacional gestionada e Implementación de Modelos Foundry en computación administrada con facturación de pago por uso.

Funcionalidades para las opciones de implementación

Use implementaciones estándar en recursos de Foundry siempre que sea posible. Esta opción de implementación proporciona la mayoría de las funcionalidades entre las opciones de implementación disponibles. En la tabla siguiente se enumeran los detalles sobre las funcionalidades específicas de cada opción de implementación:

² Una infraestructura de punto de conexión mínima se factura por minuto. No se le factura la infraestructura que hospeda el modelo en la implementación sin servidor. Después de eliminar el punto de conexión, no se acumulan cargos adicionales.

³ La facturación se realiza por minuto, según el nivel de producto y el número de instancias usadas en la implementación desde el momento de la creación. Después de eliminar el punto de conexión, no se acumulan cargos adicionales.

Contenido relacionado

• Tipos de implementación en modelos de Foundry
• Desplegar los modelos de Microsoft Foundry en el portal Foundry
• Implementar modelos Foundry de Microsoft en computación gestionada con facturación de pago por uso
• Explorar modelos de fábrica