Tipos de implementación para modelos de Microsoft Foundry en Azure Government

Al implementar un modelo en Microsoft Foundry en Azure Government, elija un tipo de implementación que determine lo siguiente:

  • Dónde se procesan los datos (zona de datos o región única)
  • Cómo se paga (pago por token o capacidad reservada)
  • Características de rendimiento (varianza de latencia, límites de rendimiento)

El servicio ofrece dos categorías principales: estándar (pago por token) y gestión provisionada (capacidad reservada). Dentro de cada categoría, puede elegir la zona de datos o el procesamiento regional único en función de sus requisitos.

Captura de pantalla del cuadro de diálogo de implementación del portal de Foundry que muestra el cuadro de selección de tipo de implementación con Estándar global seleccionado.

Importante

Residencia de datos para todos los tipos de implementación: los datos almacenados en reposo permanecen en la región Azure designada. Sin embargo, los datos de inferencia se procesan de la siguiente manera:

  • tipos USGov DataZone: procesados solo dentro de la zona de datos USGov en la nube de Azure Government
  • Tipos estándar o regionales : procesados en la región de implementación

Comparación de tipos de implementación

Tipo de implementación Código de SKU Procesamiento de datos Facturación Ideal para
Estándar de zona de datos DataZoneStandard Dentro de la zona de datos Pago por token Cumplimiento de la zona de datos de USGov
Zona de datos aprovisionada DataZoneProvisionedManaged Dentro de la zona de datos PTU reservado Zona de datos de USGov + rendimiento predecible
Estándar Standard Región única Pago por token Cumplimiento regional, bajo volumen
Aprovisionado regional ProvisionedManaged Región única PTU reservado Cumplimiento regional y rendimiento

Nota

No todos los modelos admiten todos los tipos de implementación. Compruebe Foundry Models vendidos directamente por Azure para ver la disponibilidad del modelo por tipo de implementación y región.

Nota

Las garantías de Acuerdo de Nivel de Servicio varían según el tipo de implementación. Los tipos aprovisionados proporcionan un rendimiento garantizado y una varianza de latencia menor. Los tipos estándar ofrecen un servicio de mejor esfuerzo. Para obtener más información, consulte el Acuerdo de Nivel de Servicio Azure para Azure OpenAI Service.

Propina

Para obtener precios detallados, consulte precios Azure OpenAI Service.

Elección del tipo de implementación adecuado

Use los criterios siguientes para seleccionar un tipo de implementación:

Por requisito de residencia de datos

  • USGov data zone: Use DataZone Standard o DataZone Provisioned en una región de Azure Government
  • Solo una región: Usar estándar o aprovisionado regional

Por patrón de carga de trabajo

  • Tráfico variable y de ráfaga: utilice Standard o DataZone (pago por token)
  • Volumen consistentemente alto: Uso de Tipos Aprovisionados (Capacidad Reservada)

Por requisito de latencia

  • Varianza de latencia baja necesaria: Uso de tipos aprovisionados
  • Varianza de latencia aceptable: Usar tipos estándar

Implementaciones de zona de datos

En el caso de los tipos de implementación de DataZone , las solicitudes y las respuestas solo se procesan dentro de la zona de datos especificada:

  • USGov: datos procesados en las dos regiones de Azure Government (USGovArizona o USGovVirginia)

Obtenga más información en la sección "Disponibilidad de región de modelo por tipo de implementación" de Foundry Models vendidas directamente por Azure.

Nota

Con los tipos de implementación estándar de zona de datos, si la región primaria experimenta una interrupción en el servicio, todo el tráfico inicialmente enrutado a esta región se ve afectado. Para más información, consulte la guía de alta disponibilidad y recuperación ante desastres.

Estándar de zona de datos

  • Nombre de SKU en el código: DataZoneStandard

Implementaciones estándar de zona de datos enrutan dinámicamente el tráfico a los centros de datos dentro de la zona de datos definida por Microsoft (USGov). Este tipo de implementación proporciona cuotas predeterminadas más altas que los tipos de implementación basados en geografía al tiempo que mantienen los datos dentro de la zona especificada.

Los clientes con un volumen alto y consistente pueden experimentar una mayor variabilidad de latencia. El umbral se establece por modelo. Para obtener más información sobre las cuotas de Azure OpenAI en Azure Government, consulte Cuotas y límites en Azure OpenAI. Para las cargas de trabajo que requieren baja latencia con variabilidad mínima en grandes volúmenes, considere tipos de implementación aprovisionados.

Zona de datos aprovisionada

  • Nombre de SKU en el código: DataZoneProvisionedManaged

Las implementaciones aprovisionadas de la zona de datos enrutan dinámicamente el tráfico dentro de la zona de datos especificada por Microsoft (USGov) al tiempo que proporcionan capacidad procesal reservada para modelos. Este tipo de implementación combina el cumplimiento de la zona de datos con un rendimiento alto y predecible.

Estándar

  • Nombre de SKU en el código: Standard

Las implementaciones estándar usan la facturación de pago por token. Solo pagas por lo que consumes. Los modelos disponibles en cada región y rendimiento pueden estar limitados.

Las implementaciones estándar son adecuadas para cargas de trabajo de bajo a medio volumen con alta expansión. Los clientes con un volumen alto y consistente pueden experimentar una mayor variabilidad de latencia.

Aprovisionado regional

  • Nombre de SKU en el código: ProvisionedManaged

Las implementaciones regionales aprovisionadas permiten especificar la cantidad de rendimiento que necesita en una implementación. A continuación, el servicio asigna la capacidad de procesamiento del modelo necesaria y garantiza que está listo para usted. El rendimiento se define en términos de unidades de rendimiento aprovisionadas (PTU), que es una forma normalizada de representar el rendimiento de la implementación. Cada par de versión de modelo requiere una cantidad distinta de PTU para su implementación y proporciona diferentes cantidades de capacidad de procesamiento por PTU. Los requisitos mínimos de PTU varían según el modelo. Para conocer los mínimos actuales y la capacidad disponible, consulte Conceptos de rendimiento aprovisionados.

Solución de problemas de implementación

Problemas comunes al crear o usar implementaciones:

Problema Causa Resolución
Tipo de implementación no disponible El modelo no admite el tipo seleccionado Comprobación de la disponibilidad del modelo por tipo de implementación
Cuota superada Límite de suscripción alcanzado para tokens por minuto Solicitar el aumento de la cuota en Azure Government AOAI Quota o usar otra región
Región no disponible Modelo no implementado en la región seleccionada Selección de una región en la lista de disponibilidad del modelo
Capacidad aprovisionada no disponible Sin capacidad de PTU en la región Pruebe una región diferente o utilice DataZone Provisioned para mayor disponibilidad.

Para los límites de cuota de Azure OpenAI por tipo de implementación en Azure Government, consulte Quotas y límites en Azure OpenAI.

Supervisión de abusos en Azure Government

No todas las características del Monitoreo de Abuso están habilitadas para las implementaciones de OpenAI en Azure Government. Usted es responsable de implementar medidas técnicas y operativas razonables para detectar y mitigar cualquier uso del servicio en violación de los Términos del Producto. La clasificación y el filtrado automatizados de contenido permanecen habilitados de forma predeterminada para Azure Government. Si se requieren filtros de contenido modificados, aplique en Aplicación de filtro modificado de Azure Government.

Contenido relacionado

  • Last updated on