arquitetura do Microsoft Foundry

Microsoft Foundry organiza workloads de IA por meio de uma arquitetura em camadas: um recurso Foundry de nível superior para governança, projetos para isolamento de desenvolvimento e serviços do Azure conectados para armazenamento, busca e gerenciamento de segredos.

Este artigo fornece às equipes de segurança e operações de TI detalhes sobre o recurso Foundry e a arquitetura de serviço de Azure subjacente, seus componentes e sua relação com outros tipos de recursos Azure. Use essas informações para orientar como personalizar sua implantação do Foundry de acordo com os requisitos da sua organização. Para obter mais informações sobre como distribuir o Foundry em sua organização, consulte o Lançamento do Foundry.

Quando usar essa arquitetura

Considere o modelo de recurso do Foundry quando o cenário envolver:

• Configuração inicial: você está iniciando um novo projeto de IA e deseja um único recurso que agrupe o acesso ao modelo, a hospedagem do agente e as ferramentas de avaliação.
• Acesso de várias equipes: várias equipes precisam de projetos isolados com implantações de modelo compartilhado e governança centralizada.
• Compliance-driven design: Sua organização requer rede privada, criptografia gerenciada pelo cliente ou escopo de Azure RBAC nos níveis de recurso e de projeto.
• Azure OpenAI migração: você está migrando de um recurso autônomo do Azure OpenAI e deseja manter as políticas existentes e o RBAC ao adicionar capacidades de agente e avaliação.

Para exploração de desenvolvedor único, um recurso foundry com um projeto é o padrão recomendado. Se sua carga de trabalho exigir apenas as funcionalidades de completions do Azure OpenAI, sem a necessidade de hospedagem ou avaliação de agente, um recurso do Azure OpenAI independente poderá ser suficiente.

Tipos de recursos e provedores do Azure AI

Na família de produtos de IA do Azure, você pode usar esses provedores de recursos do Azure que dão suporte às necessidades do usuário em diferentes camadas da pilha.

Para a maioria dos cenários de desenvolvimento de IA, incluindo criação de agente, implantação de modelo e fluxos de trabalho de avaliação, o recurso Foundry é o ponto de partida recomendado. Os recursos Foundry compartilham o namespace do provedor Microsoft.CognitiveServices com serviços como Azure OpenAI, Fala, Visão e Linguagem. Esse namespace de provedor compartilhado ajuda a alinhar APIs de gerenciamento, padrões de controle de acesso, rede e comportamento de política entre os recursos de IA relacionados.

Use a tabela a seguir para identificar qual tipo de recurso corresponde à carga de trabalho. Ele mostra os tipos e capacidades específicas de recursos no provedor Microsoft.CognitiveServices.

Os tipos de recursos nos mesmos namespaces de fornecedores compartilham as mesmas APIs de gerenciamento e usam ações semelhantes de controle de acesso baseado em função do Azure (Azure RBAC), configurações de rede e aliases para a configuração de Política do Azure. Se você estiver atualizando do Azure OpenAI para o Foundry, as políticas de Azure personalizadas existentes e as ações do RBAC Azure continuarão a ser aplicadas.

Hierarquia de recursos de fundição

O diagrama a seguir mostra um recurso foundry com implantações de modelo, configurações de segurança, conexões e dois projetos. Serviços Azure conectados, como Armazenamento, Key Vault e Pesquisa de IA do Azure , são recursos Azure separados sob seus próprios limites de governança:

Use esse modelo ao planejar a arquitetura e os limites de acesso:

• Foundry resource: recurso de Azure de nível superior em que você gerencia configurações de governança, como implantações de rede, segurança e modelo.
• Project: limite de desenvolvimento dentro do recurso Foundry em que as equipes criam e avaliam casos de uso. Os projetos permitem que as equipes façam protótipos em um ambiente pré-configurado, reutilizando implantações e conexões de modelo existentes sem a configuração de TI repetida.
• Ativos do projeto: arquivos, agentes, avaliações e artefatos relacionados ao escopo de um projeto.
• Recursos Conectados: serviços do Azure como Armazenamento, Key Vault e Pesquisa de IA do Azure  aos quais o recurso Foundry faz referência através de conexões. Esses recursos têm limites de governança separados, portanto, você gerencia suas políticas de rede e acesso de forma independente.

Essa separação permite que as equipes de TI apliquem controles centralizados no nível do recurso enquanto as equipes de desenvolvimento trabalham dentro dos limites do nível do projeto.

Separação de responsabilidades impulsionada pela segurança

A Foundry impõe uma separação clara entre operações de gerenciamento e desenvolvimento para garantir cargas de trabalho de IA seguras e escalonáveis.

Governança de recursos de nível superior

O recurso Foundry de nível superior abrange operações de gerenciamento, como configurar a segurança, estabelecer conectividade com outros serviços do Azure e gerenciar implantações. Os contêineres de projeto dedicados isolam as atividades de desenvolvimento e fornecem limites para controle de acesso, arquivos, agentes e avaliações.

Controle de acesso baseado em função

Ações do Azure RBAC refletem essa separação de responsabilidades. As ações do plano de controle, como a criação de implantações e projetos, são distintas das ações do plano de dados, como criar agentes, executar avaliações e carregar arquivos. Você pode definir o escopo de atribuições RBAC tanto no nível de recurso de nível superior quanto no nível de projeto individual. Atribua identidades gerenciadas em qualquer escopo para dar suporte à automação segura e ao acesso ao serviço. Para obter mais informações, consulte o controle de acesso baseado em funções para o Microsoft Foundry.

As atribuições de início comuns para integração de privilégios mínimos incluem:

• Azure Usuário de IA para cada entidade de usuário do desenvolvedor no escopo do recurso Foundry.
• Usuário do Azure AI para cada identidade gerenciada de projeto no escopo do recurso Foundry.

Para obter as definições de função e as diretrizes de planejamento de escopo, consulte Controle de acesso baseado em função para Microsoft Foundry.

Monitoramento e observabilidade

Azure Monitor segmenta as métricas por escopo. Você pode exibir as métricas de gerenciamento e uso no recurso de nível superior, enquanto as métricas específicas do projeto, como desempenho de avaliação ou atividade de agente, têm como escopo os contêineres de projeto individuais.

Os principais recursos de monitoramento incluem:

• Métricas em nível de recurso: consumo de token, latência do modelo, contagens de solicitações e taxas de erro em todos os projetos.
• Métricas de nível de projeto: resultados da execução de análise, contagens de invocação de agente e atividade de operação de arquivo.
• Log de diagnóstico: habilite as configurações de diagnóstico para rotear logs para Log Analytics, Armazenamento ou Hubs de Eventos para análise e retenção.

Para obter mais informações, consulte Azure Monitor visão geral.

Infraestrutura de computação

A Foundry gerencia a infraestrutura de computação para hospedagem de modelo, execução de agente e processamento em lote. Esta seção aborda tipos de implantação, infraestrutura de agente e avaliação, integração de rede virtual, isolamento de locatário, controles de segurança de conteúdo e disponibilidade regional.

Tipos de implantação de modelo

A Foundry dá suporte a vários tipos de implantação para hospedagem de modelo, agrupados por escopo de processamento de dados: global (entre regiões), zona de dados (dentro de um limite definido) e regional (região única). Cada tipo equilibra a latência, a taxa de transferência e o local de processamento de dados de forma diferente:

Para obter detalhes sobre como escolher o tipo de implantação correto, consulte Tipos de implantação para modelos do Foundry.

Agentes, avaliações e processamento em lote

Agentes, avaliações e trabalhos em lotes são totalmente gerenciados por Microsoft. As cargas de trabalho do agente são executadas dentro da infraestrutura de contêiner da plataforma, que dá suporte à integração de rede virtual para cenários isolados de rede. As avaliações invocam pontos de extremidade de modelo, comparam saídas com critérios de classificação e armazenam resultados dentro do escopo do projeto. As filas de processamento em lote enfileiram solicitações de inferência para execução assíncrona com preços reduzidos por token. Os resultados dos três tipos de carga de trabalho são acessíveis por meio do portal ou do SDK.

Integração de rede virtual

Quando seus agentes se conectam com sistemas externos, você pode isolar o tráfego de rede usando container injection, em que a plataforma injeta uma sub-rede em sua rede virtual, habilitando a comunicação local com seus recursos Azure na mesma rede virtual.

A Foundry dá suporte a dois modelos de rede para isolamento de saída:

Isolamento de locatário

As cargas de trabalho são executadas em ambientes logicamente isolados por recurso do Foundry. O código do cliente não compartilha contêineres de runtime com outros locatários.

Segurança de conteúdo e barreiras de proteção

A Foundry integra os controles de segurança de conteúdo ao pipeline de inferência do modelo e do agente. Guardrails definem riscos para detectar, pontos de intervenção para verificação (entrada do usuário, saída, chamadas de ferramenta (versão prévia) e respostas de ferramenta (versão prévia)) e ações de resposta quando um risco é detectado. Os filtros de conteúdo são executados em linha com as solicitações de modelo e podem ser configurados para cada implantação. Para obter mais informações, consulte a Visão Geral de Guardrails e Controles e Níveis de Severidade de Filtragem de Conteúdo.

Disponibilidade regional

Os recursos de computação variam de acordo com Azure região. A disponibilidade do modelo, as opções de tipo de implantação e o suporte a recursos, como Agentes ou avaliações, podem ser diferentes entre regiões. Confirme se sua região de destino dá suporte aos recursos necessários antes do provisionamento. Para obter a disponibilidade atual, consulte a disponibilidade de recursos entre regiões de nuvem.

Armazenamento de dados

A Foundry fornece opções flexíveis e seguras de armazenamento de dados para dar suporte a uma ampla gama de cargas de trabalho de IA.

Armazenamento gerenciado para upload de arquivo

Na configuração padrão, o Foundry usa contas de armazenamento gerenciadas por Microsoft que são logicamente separadas e dão suporte a uploads de arquivos diretos para casos de uso selecionados, como modelos OpenAI e Agentes, sem a necessidade de uma conta de armazenamento fornecida pelo cliente.

Traga seu próprio armazenamento

Opcionalmente, você pode conectar suas próprias contas de Armazenamento do Azure. Ferramentas de fundição, como avaliações e processamento em lote, podem ler entradas e gravar saídas nessas contas. Para obter detalhes sobre cenários com suporte, consulte Recursos próprios com o serviço Agent.

Armazenamento de estado do agente

• Com a instalação do agente basic, o serviço Agente armazena threads, mensagens e arquivos no armazenamento multilocatário gerenciado por Microsoft, com separação lógica.
• Com a configuração do agente padrão, você traz seus próprios recursos de Azure para todos os dados do cliente, incluindo arquivos, conversas e repositórios de vetores. Nessa configuração, os dados são isolados pelo projeto em suas contas de armazenamento.

Criptografia de chave gerenciada pelo cliente

Por padrão, os serviços do Azure criptografam dados em repouso e em trânsito usando chaves gerenciadas pela Microsoft com criptografia AES de 256 bits compatível com FIPS 140-2. Nenhuma alteração de código é necessária.

Para usar suas próprias chaves, confirme esses pré-requisitos antes de habilitar as chaves gerenciadas pelo cliente para o Foundry:

• Key Vault é implantado na mesma região Azure que o recurso Foundry.
• Exclusão lógica e proteção contra purga estão habilitadas no Key Vault.
• As identidades gerenciadas têm permissões de chave necessárias, como a função Key Vault Crypto User ao usar Azure RBAC.

Traga seu próprio Cofre de Chaves

Por padrão, o Foundry armazena todos os segredos de conexão baseados em chave de API em um Azure Key Vault gerenciado. Se você preferir gerenciar segredos por conta própria, conecte o cofre de chaves ao recurso Foundry. Uma conexão Azure Key Vault gerencia todos os segredos de conexão no nível do projeto e do recurso. Para obter mais informações, consulte como configurar uma conexão do Azure Key Vault com o Foundry.

Para saber mais sobre criptografia de dados, consulte as chaves gerenciadas pelo cliente para criptografia com o Foundry.

Residência e conformidade de dados

A Foundry armazena todos os dados inativos na localidade designada do Azure. Os dados de inferência (prompts e completions) são processados de acordo com o tipo de implantação: implantações globais podem ser encaminhadas para qualquer região do Azure, implantações de zona de dados permanecem dentro da zona dos EUA ou da UE, e implantações padrão ou regionais são processadas na região de implantação. Para obter detalhes, consulte Os tipos de implantação. A Foundry não dá suporte ao failover automático entre regiões. Se sua organização exigir disponibilidade de várias regiões, implante recursos do Foundry separados em cada região de destino e gerencie a sincronização e o roteamento de dados na camada do aplicativo. Para obter detalhes de certificação de conformidade, consulte documentação de conformidade do Azure.

Validar decisões de arquitetura

Antes da distribuição, valide o seguinte para seu ambiente de destino:

• Verifique se os modelos e recursos necessários estão disponíveis em suas regiões de implantação. Para obter detalhes, consulte a disponibilidade de recursos entre regiões de nuvem.
• Verifique se as atribuições de função estão corretamente no escopo tanto nos níveis de recursos do Foundry quanto de projeto. Para obter detalhes, consulte controle de acesso baseado em função para Microsoft Foundry.
• Valide os requisitos de isolamento de rede e os caminhos de acesso privado. Para obter detalhes, consulte Como configurar um link privado para o Foundry.
• Confirme os requisitos de criptografia e gerenciamento de segredo, incluindo chaves gerenciadas pelo cliente e integração Azure Key Vault. Para obter detalhes, consulte Chaves gerenciadas pelo cliente para criptografia com o Foundry e como configurar uma conexão com o Azure Key Vault para o Foundry.
• Examine as cotas e os limites dos recursos de destino, incluindo limites de implantação de modelo e limites de taxa. Para obter detalhes, consulte cotas e limites do Azure OpenAI e os limites de serviço, cotas e regiões.

Conteúdo relacionado

• Distribuição de fundimento em toda a minha organização
• controle de acesso baseado em funções para Microsoft Foundry
• Chaves gerenciadas pelo cliente para criptografia com a Foundry
• Como configurar um link privado para o Foundry
• Utilize seus próprios recursos com o serviço Agent
• visão geral Azure Monitor
• Quotas e limites do Azure OpenAI
• Tipos de implantação para modelos Foundry
• Visão geral de guardrails e controles
• Disponibilidade de recursos entre regiões de nuvem