arquitectura de Microsoft Foundry (clásico)

Visualización actual:Versión - Cambio a la versión del nuevo portal de Foundry

Microsoft Foundry organiza las cargas de trabajo de inteligencia artificial a través de una arquitectura superpuesta: un recurso foundry de nivel superior para la gobernanza, proyectos para el aislamiento de desarrollo y servicios de Azure conectados para la administración de almacenamiento, búsqueda y secretos.

En este artículo se proporcionan operaciones de TI y equipos de seguridad con detalles sobre el recurso Foundry y la arquitectura del servicio Azure subyacente, sus componentes y su relación con otros tipos de recursos Azure. Use esta información para guiar cómo personalizar la implementación de Foundry en los requisitos de su organización. Para obtener más información sobre cómo implementar Foundry en su organización, consulte Foundry Rollout.

Cuándo usar esta arquitectura

Tenga en cuenta el modelo de recursos foundry cuando el escenario implique lo siguiente:

• Configuración por primera vez: va a iniciar un nuevo proyecto de IA y quiere un único recurso que agrupa el acceso al modelo, el hospedaje del agente y las herramientas de evaluación.
• Acceso a varios equipos: varios equipos necesitan proyectos aislados con implementaciones de modelos compartidos y gobernanza centralizada.
• Diseño impulsado por el cumplimiento: La organización requiere redes privadas, cifrado administrado por el cliente o definición del ámbito de RBAC de Azure a nivel tanto de recursos como de proyectos.
• Migración de Azure OpenAI: está transitando de un recurso Azure OpenAI independiente y desea mantener las directivas existentes y el RBAC al agregar capacidades de agente y evaluación.

Para la exploración de un solo desarrollador, un recurso Foundry con un proyecto es el valor predeterminado recomendado. Si la carga de trabajo solo requiere finalizaciones de Azure OpenAI sin hospedaje o evaluación del agente, un recurso de Azure OpenAI independiente podría ser suficiente.

Tipos de recursos de IA de Azure y proveedores

Dentro de la familia de productos Azure AI, puede usar estos proveedores de recursos de Azure que respaldan las necesidades del usuario en diferentes capas del stack.

Para la mayoría de los escenarios de desarrollo de inteligencia artificial, incluidos los flujos de trabajo de creación de agentes, implementación de modelos y evaluación, el recurso Foundry es el punto de partida recomendado. Los recursos de Foundry comparten el espacio de nombres del proveedor Microsoft.CognitiveServices con servicios como Azure OpenAI, Speech, Vision y Language. Este espacio de nombres de proveedor compartido ayuda a alinear las API de administración, los patrones de control de acceso, las redes y el comportamiento de directivas en los recursos de IA relacionados.

Use la tabla siguiente para identificar qué tipo de recurso coincide con la carga de trabajo. Muestra los tipos de recursos y las capacidades específicas dentro del proveedor Microsoft.CognitiveServices.

Los tipos de recursos de los mismos espacios de nombres del proveedor comparten las mismas API de administración y usan acciones de Azure control de acceso basado en rol (Azure RBAC), configuraciones de red y alias para la configuración de Azure Policy. Si va a actualizar desde Azure OpenAI a Foundry, las directivas de Azure personalizadas existentes y las acciones de RBAC de Azure siguen aplicándose.

Jerarquía de recursos de fundición

En el diagrama siguiente se muestra un recurso Foundry con implementaciones de modelos, configuración de seguridad, conexiones y dos proyectos. Los servicios de Azure conectados, como Storage, Key Vault y Búsqueda de Azure AI, son recursos Azure independientes en sus propios límites de gobernanza:

Use este modelo al planear la arquitectura y los límites de acceso:

• Recurso de Foundry: Recurso de Azure de nivel superior en el que administra la configuración de gobernanza, como redes, seguridad y despliegues de modelos.
• Project: límite de desarrollo dentro del recurso Foundry donde los equipos crean y evalúan casos de uso. Los proyectos permiten a los equipos crear prototipos dentro de un entorno preconfigurado, reutilizar las implementaciones de modelos existentes y las conexiones sin una configuración repetida de TI.
• Project assets: archivos, agentes, evaluaciones y artefactos relacionados dentro del ámbito de un proyecto.
• Recursos conectados: servicios de Azure como Storage, Key Vault y Búsqueda de Azure AI a los que hace referencia el recurso Foundry a través de conexiones. Estos recursos tienen límites de gobernanza independientes, por lo que se administran sus directivas de redes y acceso de forma independiente.

Esta separación permite a los equipos de TI aplicar controles centralizados en el nivel de recurso mientras los equipos de desarrollo trabajan dentro de los límites del nivel de proyecto.

Separación de responsabilidades impulsada por la seguridad

Foundry aplica una separación clara entre las operaciones de administración y desarrollo para garantizar cargas de trabajo de inteligencia artificial seguras y escalables.

Gobernanza de recursos de nivel superior

Las operaciones de gestión en el ámbito de los recursos de Foundry de nivel superior incluyen aspectos como la configuración de la seguridad, el establecimiento de la conectividad con otros servicios de Azure y la gestión de implementaciones. Los contenedores de proyectos dedicados aíslan las actividades de desarrollo y proporcionan límites para el control de acceso, los archivos, los agentes y las evaluaciones.

Control de acceso basado en rol

Las acciones de RBAC de Azure reflejan esta separación de preocupaciones. Las acciones del plano de control, como la creación de implementaciones y proyectos, son distintas de las acciones del plano de datos, como la creación de agentes, la ejecución de evaluaciones y la carga de archivos. Puede definir el ámbito de las asignaciones de RBAC tanto en el nivel de recurso de nivel superior como en el nivel de proyecto individual. Asigne identidades administradas en cualquier ámbito para admitir la automatización segura y el acceso al servicio. Para obtener más información, consulte control de acceso basado en roles para Microsoft Foundry.

Entre las asignaciones de inicio comunes para la incorporación con privilegios mínimos se incluyen:

• Usuario de Azure AI para cada entidad de seguridad del usuario desarrollador en el ámbito de recursos de Foundry.
• Usuario de Azure AI para cada identidad administrada del proyecto en el ámbito de recursos de Foundry.

Para consultar las definiciones de roles y la guía de planificación del alcance, consulte Control de acceso basado en rol para Microsoft Foundry.

Supervisión y observabilidad

Azure Monitor segmenta las métricas por ámbito. Puede ver las métricas de administración y uso en el recurso de nivel superior, mientras que las métricas específicas del proyecto, como el rendimiento de evaluación o la actividad del agente, se limitan a los contenedores de proyectos individuales.

Entre las funcionalidades clave de supervisión se incluyen:

• Métricas de nivel de recurso: consumo de tokens, latencia del modelo, recuentos de solicitudes y tasas de errores en todos los proyectos.
• Métricas a nivel de proyecto: resultados de las ejecuciones de evaluación, conteos de invocación del agente y actividad de operaciones de archivo.
• Registro de diagnóstico: habilite la configuración de diagnóstico para enrutar los registros a Log Analytics, Storage o Event Hubs para el análisis y la retención.

Para obtener más información, consulte Azure Monitor overview.

Infraestructura informática

Foundry administra la infraestructura de proceso para el hospedaje de modelos, la ejecución del agente y el procesamiento por lotes.

Tipos de implementación de modelos

La implementación estándar en recursos de Foundry proporciona arquitectura de hospedaje de modelos.

Cómputo administrado para agentes y evaluaciones

Los agentes, las evaluaciones y los trabajos por lotes se ejecutan como computación en contenedores gestionada, totalmente administrada por Microsoft. Las evaluaciones invocan los puntos de conexión del modelo y comparan las salidas con los criterios de calificación. Foundry almacena los resultados dentro del ámbito del proyecto, accesible a través del portal o el SDK.

Integración de red virtual

Cuando los agentes se conectan con sistemas externos, puede aislar el tráfico de red mediante la inyección de container, donde la plataforma inserta una subred en la red virtual, lo que permite la comunicación local con los recursos de Azure dentro de la misma red virtual.

Foundry admite dos modelos de red para el aislamiento de salida:

Aislamiento de inquilinos

La computación gestionada por Microsoft ejecuta cargas de trabajo en entornos aislados lógicamente para cada proyecto. El código del cliente no comparte contenedores en tiempo de ejecución con otros inquilinos.

Seguridad y barreras de protección del contenido

Foundry integra controles de seguridad de contenido en la canalización de inferencia de modelos y agentes. Los límites de protección definen riesgos para detectar, puntos de intervención para examinar (entrada de usuario, salida, llamadas a herramientas (versión preliminar) y respuestas de herramientas (versión preliminar) y acciones de respuesta cuando se detecta un riesgo. Los filtros de contenido se ejecutan en línea con solicitudes de modelo y se pueden configurar por implementación. Para obtener más información, consulte Información general sobre los límites y controles de protección yNiveles de gravedad de filtrado de contenido.

Escalado

La computación gestionada para agentes y evaluaciones se escala automáticamente según la demanda de la carga de trabajo. El hospedaje de modelos se escala en función de la configuración de implementación.

Disponibilidad regional

Las funcionalidades de proceso varían según Azure región. La disponibilidad del modelo, las opciones de tipo de implementación y la compatibilidad con características, como agentes o evaluaciones, pueden diferir entre regiones. Confirme que la región de destino admite las funcionalidades necesarias antes del aprovisionamiento. Para obtener la disponibilidad actual, consulte Disponibilidad de características entre regiones en la nube.

Almacenamiento de datos

Foundry proporciona opciones de almacenamiento de datos flexibles y seguras para admitir una amplia gama de cargas de trabajo de inteligencia artificial.

Almacenamiento administrado para la carga de archivos

En la configuración predeterminada, Foundry usa cuentas de almacenamiento administradas Microsoft que están separadas lógicamente y admiten cargas directas de archivos para casos de uso seleccionados, como modelos y agentes de OpenAI, sin necesidad de una cuenta de almacenamiento proporcionada por el cliente.

Traiga su propio almacenamiento

Opcionalmente, puede conectar sus propias cuentas de Azure Storage. Las herramientas de fundición, como las evaluaciones y el procesamiento por lotes, pueden leer entradas desde y escribir salidas en estas cuentas. Para más información sobre los escenarios admitidos, consulte Bring-your-own resources with the Agent service (Traiga sus propios recursos con el servicio del agente).

Almacenamiento de estado del agente

• Con la configuración básica del agente , el servicio de agente almacena subprocesos, mensajes y archivos en un almacenamiento multiinquilino administrado por Microsoft, con separación lógica.
• Con la configuración del agente estándar , use sus propios recursos de Azure para todos los datos del cliente, incluidos archivos, conversaciones y almacenes de vectores. En esta configuración, el proyecto aísla los datos dentro de las cuentas de almacenamiento.

Cifrado de claves administradas por el cliente

De forma predeterminada, los servicios de Azure cifran los datos en reposo y en tránsito mediante claves administradas por Microsoft con cifrado AES de 256 bits compatible con FIPS 140-2. No se requieren cambios en el código.

Para usar sus propias claves en su lugar, confirme estos requisitos previos antes de habilitar las claves administradas por el cliente para Foundry:

• Key Vault se implementa en la misma región de Azure que el recurso Foundry.
• La eliminación temporal y la protección de purga están habilitadas en el Key Vault.
• Las identidades administradas tienen permisos de clave necesarios, como el rol Key Vault Crypto User al usar Azure RBAC.

Traiga su propio Key Vault

De forma predeterminada, Foundry almacena todos los secretos de conexión basados en claves de API en un Azure Key Vault administrado. Si prefiere administrar los secretos usted mismo, conecte su bóveda de claves al recurso Foundry. Una conexión de Azure Key Vault administra todos los secretos de conexión a nivel de proyecto y recursos. Para obtener más información, consulte cómo configurar una conexión de Azure Key Vault a Foundry.

Para más información sobre el cifrado de datos, consulte Claves administradas por el cliente para el cifrado con Foundry.

Residencia y cumplimiento de datos

Foundry almacena todos los datos en reposo en la zona geográfica designada Azure. Los datos de inferencia (avisos y finalizaciones) se procesan según el tipo de implementación: las implementaciones globales pueden enrutar a cualquier región de Azure, las implementaciones de zona de datos permanecen dentro de la zona de EE. UU. o UE, y las implementaciones estándar o regionales se procesan en su región de implementación correspondiente. Para obtener más información, consulte Tipos de implementación. Foundry no admite la conmutación automática por error entre regiones. Si su organización requiere disponibilidad en varias regiones, implemente recursos de Foundry independientes en cada región de destino y administre la sincronización y el enrutamiento de datos en el nivel de aplicación. Para obtener más información sobre la certificación de cumplimiento, consulte Azure documentación de cumplimiento.

Validar decisiones de arquitectura

Antes de la implementación, valide lo siguiente para el entorno de destino:

• Compruebe que los modelos y características necesarios están disponibles en las regiones de implementación. Para más información, consulte Disponibilidad de características entre regiones en la nube.
• Compruebe que las asignaciones de roles tienen un ámbito correcto en los niveles de recursos y proyectos de Foundry. Para obtener más información, consulte el control de acceso basado en roles para Microsoft Foundry.
• Valide los requisitos de aislamiento de red y las rutas de acceso privado. Para obtener más información, consulte Configuración de un vínculo privado para Foundry.
• Confirme los requisitos de cifrado y administración de secretos, incluidas las claves administradas por el cliente y la integración de Azure Key Vault. Para obtener más información, consulte Claves administradas por el cliente para el cifrado con Foundry y cómo configurar una conexión de Azure Key Vault a Foundry.
• Revise las cuotas y los límites de los recursos de destino, incluidos los límites de implementación del modelo y los límites de velocidad. Para obtener más información, consulte cuotas y límites de Azure OpenAI y límites, cuotas y regiones del servicio de agentes.

Contenido relacionado

• Despliegue de Foundry en mi organización
• control de acceso basado en roles para Microsoft Foundry
• Claves administradas por el cliente para el cifrado con Foundry
• Configuración de un vínculo privado para Foundry
• Traiga sus propios recursos con el servicio agente
• Introducción a Azure Monitor
• Cuotas y límites de Azure OpenAI
• Tipos de implementación para Modelos Foundry
• Información general sobre los límites de protección y los controles
• Disponibilidad de características en regiones de la nube