Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Exibição no momento:Versão do portal do Foundry - Alternar para a versão do novo portal do Foundry
Nota
Links neste artigo podem abrir conteúdo na nova documentação do Microsoft Foundry em vez da documentação da Foundry (clássica) que você está exibindo agora.
Importante
Traduções não em inglês são fornecidas apenas para conveniência. Consulte a EN-US versão deste documento para obter a versão definitiva.
O que é uma Nota de Transparência?
Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usarão, as pessoas que serão afetadas por ela e o ambiente no qual ela é implantada. A criação de um sistema adequado para sua finalidade pretendida requer uma compreensão de como a tecnologia funciona, quais são suas funcionalidades e limitações e como obter o melhor desempenho. as Notas de Transparência da Microsoft destinam-se a ajudá-lo a entender como nossa tecnologia de IA funciona, as escolhas que os proprietários do sistema podem fazer que influenciam o desempenho e o comportamento do sistema e a importância de pensar em todo o sistema, incluindo a tecnologia, as pessoas e o meio ambiente. Você pode usar Notas de Transparência ao desenvolver ou implantar seu próprio sistema ou compartilhá-las com as pessoas que usarão ou serão afetadas pelo seu sistema.
as Notas de Transparência da Microsoft fazem parte de um esforço mais amplo em Microsoft para colocar nossos Princípios de IA em prática. Para saber mais, consulte os princípios de IA Microsoft.
Os conceitos básicos do Serviço Foundry Agent
Introdução
O Foundry Agent Service é um serviço totalmente gerenciado projetado para capacitar os desenvolvedores a criar, implantar e dimensionar com segurança agentes de IA de alta qualidade e extensíveis sem a necessidade de gerenciar os recursos de computação e armazenamento subjacentes. O Serviço de Agente fornece acesso integrado a modelos, ferramentas e tecnologia e permite estender a funcionalidade dos agentes com conhecimentos de fontes conectadas (como Pesquisa do Bing, SharePoint, Fabric, Azure Blob Storage e dados licenciados) e com ações usando ferramentas como Aplicativos Lógicos do Azure, Azure Functions, ferramentas especificadas pelo OpenAPI 3.0 e Interpretador de Código. Saiba mais.
Isenção de responsabilidade geral sobre agentes
Os sistemas de IA com capacidade de agência são projetados para usar capacidades de agência a fim de atingir uma meta de alto nível especificada por um usuário. Os sistemas devem ser projetados para permitir que os usuários incorporem a supervisão humana conforme apropriado para garantir que o sistema esteja executando as ações e tarefas conforme o esperado. Se um Agente exibir comportamentos indesejados ou indesejáveis, os usuários deverão ter a capacidade de intervir e tomar as medidas apropriadas para atenuar possíveis riscos.
Isenção de responsabilidade sobre agentes em domínios confidenciais
Os usuários devem ter cuidado ao projetar e implantar sistemas de IA agente em domínios confidenciais em que as ações do Agente são irreversíveis ou altamente conseqüentes. Tais domínios incluem, mas não se limitam a, finanças e seguros, saúde, jurídico e habitação. Precauções adicionais também devem ser tomadas ao criar IA agente autônoma, conforme descrito mais adiante em nosso Código de Conduta. Você é responsável por cumprir todas as leis e padrões de segurança aplicáveis relevantes para os Agentes criados usando as Ferramentas e soluções do Foundry, incluindo o Catálogo de Agentes, exemplos de código subjacentes e recursos e informações semelhantes (veja abaixo Considerações ao escolher um caso de uso).
Termos-chave
Veja a seguir os principais componentes do SDK do Serviço do Agente (e a experiência Microsoft Foundry portal impulsionada por ele):
| Termo | Definição |
|---|---|
| Desenvolvedor | Um cliente do Serviço de Agente que cria um Agente. |
| Usuário | Uma pessoa que usa e/ou opera um Agente que é criado por um desenvolvedor. |
| Agente | Um aplicativo ou um sistema que usa modelos de IA generativos com ferramentas para acessar e interagir com fontes de dados, APIs e sistemas do mundo real para atingir metas especificadas pelo usuário, como responder perguntas, executar ações ou automatizar completamente fluxos de trabalho, com ou sem supervisão humana. |
| Ferramenta | Uma funcionalidade interna ou personalizada que permite que um Agente execute tarefas simples ou complexas ou interaja com fontes de informações, aplicativos e/ou serviços por meio do SDK do Serviço do Agente ou portal do Foundry. |
| Ferramenta de Conhecimento | Uma ferramenta que permite que um Agente acesse e processe dados de fontes internas e externas, incluindo informações além da data de corte de treinamento do modelo, para melhorar a precisão e a relevância das respostas às consultas do usuário. |
| Ferramenta de Ação | Uma ferramenta que permite que um Agente execute tarefas e execute ações em nome dos usuários integrando-se a sistemas externos, APIs e serviços. |
| Thread | Uma sessão de conversa entre um agente e um usuário. Os threads armazenam mensagens e manipulam automaticamente o truncamento para ajustar o conteúdo ao contexto de um modelo. |
| Mensagem | Uma mensagem criada por um agente ou um usuário. As mensagens podem incluir texto, imagens e outros arquivos. As mensagens são armazenadas como uma lista no Thread. |
| Executar | A ativação de um Agente para iniciar a execução com base no conteúdo do Thread. O Agente usa sua configuração e as Mensagens do Thread para executar tarefas chamando modelos e ferramentas. Como parte de uma execução, o Agente acrescenta Mensagens ao Thread. |
| Etapas de execução | Uma lista detalhada das etapas que o Agente realizou como parte de um processo. Um Agente pode chamar ferramentas ou criar Mensagens durante sua execução. Examinar as etapas de execução permite que você entenda como o Agente está chegando aos resultados finais. |
| Workflow | Uma sequência declarativa de ações que orquestra agentes para automatizar processos complexos. Os fluxos de trabalho na Foundry podem ser projetados, executados e publicados usando uma interface do usuário gráfica. |
| Amostra | Um modelo, manifesto, exemplo de código, exemplo de fluxo de trabalho ou outro exemplo que demonstra como você pode criar agentes, aplicativos ou soluções e aproveitar os benefícios do Serviço de Agentes da Microsoft Foundry. |
Conceitos de funcionalidade relevantes
| Termo | Definição |
|---|---|
| Sistema de IA agencial | Um termo guarda-chuva que inclui os seguintes recursos comuns que os desenvolvedores podem habilitar em seus Agentes quando usam o Serviço de Agente. |
| Autonomia | A capacidade de executar ações de forma independente e exercer controle sobre o comportamento do sistema com diferentes graus de supervisão humana. |
| Raciocínio | A capacidade de processar informações ao mesmo tempo em que compreende o contexto e os resultados de vários cursos potenciais de ações, tarefas ou compromissos com usuários de terceiros. |
| Planejamento | A capacidade de dividir metas e ações complexas especificadas pelo usuário em tarefas e subtarefas para execução. As tarefas planejadas são criadas por um ou mais agentes. |
| Memória | A capacidade de armazenar ou reter informações ou contexto de observações, interações ou comportamentos do sistema anteriores. |
| Adaptabilidade | A capacidade de alterar ou ajustar o comportamento e melhorar o desempenho com base nas informações coletadas do ambiente ou da experiência anterior. |
| Extensibilidade | A capacidade de chamar recursos (por exemplo, como fontes de conhecimento externas) e executar funções (por exemplo, enviar um email) de sistemas conectados, software ou plataformas, incluindo o uso de ferramentas. |
Capacidades
Comportamento do sistema
O Serviço de Agente fornece integração com dados gerenciados com segurança, ferramentas prontas para uso e chamadas automáticas de ferramentas que permitem aos desenvolvedores criar Agentes que podem ter a capacidade de raciocinar, planejar e executar tarefas de uma meta de alto nível especificada por um usuário. Serviço de Agente permite o desenvolvimento rápido de agentes com gerenciamento de memória interno e uma interface sofisticada para integrar perfeitamente com plataformas de computação populares, facilitando a conexão entre os recursos de LLM e ações programáticas de finalidade geral.
Os principais recursos do Serviço de Agente incluem:
- Desenvolva e automatize rapidamente os processos: Os agentes precisam se integrar perfeitamente às ferramentas, sistemas e APIs corretos para executar ações determinísticas ou não determinísticas.
- Integre-se a conectores de memória e conhecimento extensivos: Os agentes precisam gerenciar o estado da conversa e se conectar com fontes de conhecimento internas e externas para ter o contexto certo para concluir um processo.
- Escolha de modelo flexível: Os agentes criados com o modelo apropriado para suas tarefas podem habilitar uma melhor integração de informações de vários tipos de dados, produzir melhores resultados para cenários específicos de tarefa e melhorar a eficiência de custo em implantações dimensionadas.
- Preparação corporativa interna: Os agentes precisam ser capazes de dar suporte às necessidades exclusivas de conformidade e privacidade de dados de uma organização, dimensionar com as necessidades de uma organização e concluir tarefas de forma confiável e com alta qualidade.
Funcionalidades de extensibilidade
Os recursos de extensibilidade do Serviço de Agente permitem que os Agentes interajam com fontes de conhecimento, sistemas e plataformas para fundamentar e aprimorar as funcionalidades do Agente. Especificamente:
Conexão segura das saídas do Agente com um ecossistema rico de fontes de conhecimento
Os desenvolvedores podem configurar um ecossistema avançado de fontes de conhecimento para permitir que um Agente acesse e processe dados de várias fontes, melhorando a precisão de respostas e saídas. Os conectores a essas fontes de dados operam dentro dos parâmetros de rede designados. As Ferramentas de Conhecimento integradas ao Serviço do Agente incluem:
- File Search (uma ferramenta de RAG (geração aumentada de recuperação) interna para processar e pesquisar por meio de dados privados em Pesquisa de IA do Azure , Armazenamento de Blobs do Azure e arquivos locais)
- Contextualização com a Pesquisa Bing (uma ferramenta de busca na web que utiliza o Bing para extrair informações)
- SharePoint (ferramentas integradas que conectam documentos internos de uma organização no SharePoint para respostas fundamentadas)
- Fabric Data Agent (uma ferramenta interna para conversar com dados estruturados em Microsoft Fabric usando IA generativa)
- Traga seus dados licenciados (uma ferramenta que permite o aterramento usando dados proprietários acessados usando uma chave de API licenciada obtida pelo desenvolvedor do provedor de dados, por exemplo, TripAdvisor)
Os agentes simplificam o acesso seguro a SharePoint e às Habilidades de IA do Fabric por meio da autenticação de representação (OBO), permitindo que o Agente acesse apenas os arquivos SharePoint ou Fabric para os quais o usuário tem permissões.
Habilitar ações autônomas com ou sem entrada humana por meio das Ferramentas de Ação
Os desenvolvedores podem conectar um Agente a sistemas externos, APIs e serviços por meio das Ferramentas de Ação, permitindo que o Agente execute tarefas e execute ações em nome dos usuários. As Ferramentas de Ação integradas ao Serviço do Agente incluem:
- Code Interprete (uma ferramenta que pode gravar e executar Python código em um ambiente seguro, manipular formatos de dados diversos e gerar arquivos com dados e visuais)
- Aplicativos Lógicos do Azure (uma ferramenta paaS baseada em nuvem que permite fluxos de trabalho automatizados usando mais de 1.400 conectores internos)
- Azure Functions (uma ferramenta que permite que um Agente execute código sem servidor para ações síncronas, assíncronas, de execução longa e controladas por eventos)
- Ferramentas especificadas do OpenAPI 3.0 (uma função personalizada definida com a especificação OpenAPI 3.0 para conectar um Agente a APIs externas baseadas em OpenAPI com segurança)
- Ferramentas do Protocolo de Contexto de Modelo (um serviço personalizado conectado ao Protocolo de Contexto de Modelo por meio de um servidor MCP remoto existente a um Agente).
- Ferramenta Deep Research: (uma ferramenta que permite pesquisas baseadas na web em várias etapas com o modelo de pesquisa profunda o3 e Grounding com a Pesquisa do Bing).
- Uso do computador: (uma ferramenta para executar tarefas interagindo com sistemas de computador e aplicativos por meio de suas interfaces do usuário)
- Ferramenta de Automação do Navegador (uma ferramenta que pode executar tarefas do navegador do mundo real por meio de prompts de linguagem natural, habilitando atividades de navegação automatizadas sem intervenção humana no meio)
- Geração de imagem (uma ferramenta para gerar e editar imagens)
- Agent2Agent (um serviço personalizado conectado usando o protocolo agente-para-agente por meio de um endpoint de agente existente para um agente do Foundry).
Orquestrando sistemas de vários agentes
Sistemas de vários agentes usando o Serviço de Agente podem ser projetados para obter fluxos de trabalho autônomos com desempenho para cenários específicos. Em sistemas de vários agentes, vários agentes autônomos com reconhecimento de contexto, sejam humanos ou sistemas de IA, interagem ou trabalham juntos para alcançar metas individuais ou coletivas especificadas pelo usuário. O Serviço de Agente funciona pronto para uso com estruturas de orquestração de vários agentes compatíveis1 com a API de Respostas, como Microsoft Agent Framework, um SDK de software livre e runtime projetado para permitir que os desenvolvedores criem, implantem e gerenciem sistemas multiagentes sofisticados com facilidade.
Ao criar uma nova solução multi-agente, comece pela criação de agentes singleton com o Serviço de Agente para obter agentes mais confiáveis, escaláveis e seguros. Em seguida, você pode orquestrar esses agentes juntos usando estruturas de orquestração com suporte. Microsoft Agent Framework está em constante evolução para encontrar os melhores padrões de colaboração para agentes (e humanos) trabalharem juntos. Os recursos que mostram o valor de produção no Microsoft Agent Framework poderão ser movidos para o Microsoft Foundry Agent Service, se você estiver procurando suporte de produção e alterações que não causem interrupções.
Consulte as perguntas frequentes sobre transparência do Agent Framework para saber mais sobre considerações e riscos adicionais ao criar orquestrações de vários agentes usando Microsoft Agent Framework.
Os fluxos de trabalho da plataforma Foundry ampliam a orquestração de múltiplos agentes ao fornecer um designer visual e uma configuração em YAML para a construção, teste e implantação de processos agenciais. Cada fluxo de trabalho pode coordenar vários agentes, permitindo a automação modular e a rastreabilidade. O designer de fluxo de trabalho dá suporte a controle de versão, logs de alterações e monitoramento visual, facilitando o gerenciamento de lógica complexa e garantir a transparência.
1 Compatível com wireline significa que uma API pode comunicar e trocar dados de forma totalmente compatível com um protocolo existente, formatos de dados existentes e padrões de comunicação, nesse caso o protocolo Responses API. Isso significa que dois sistemas podem trabalhar juntos perfeitamente sem precisar de alterações em sua implementação principal.
Casos de uso
Usos pretendidos
O Serviço de Agente é flexível e independente de caso de uso. Isso apresenta várias possibilidades para automatizar tarefas rotineiras e desbloquear novas possibilidades de trabalho de conhecimento – sejam agentes de produtividade pessoal que enviam emails e agendam reuniões, agentes de pesquisa que monitoram continuamente as tendências do mercado e automatizam a criação de relatórios, agentes de vendas que podem pesquisar clientes potenciais e qualificá-los automaticamente, agentes de atendimento ao cliente que acompanham proativamente mensagens personalizadas, ou agentes de desenvolvedor que podem atualizar sua base de código ou desenvolver um repositório de código interativamente. Aqui estão exemplos de usos pretendidos de agentes desenvolvidos usando o Serviço de Agente:
- Saúde: Orientação simplificada da equipe e suporte administrativo básico: O assistente administrativo de um hospital implanta um agente para agrupar procedimentos operacionais padrão, diretórios de funcionários e transferir políticas para orientações concisas para novos enfermeiros; Os materiais finais são revisados e aprovados pelo RH, reduzindo o trabalho repetitivo sem comprometer a qualidade do conteúdo.
- Varejo: Diretrizes personalizadas de compras: Um proprietário de boutique local pode implantar um agente que recomenda opções de presentes com base nas necessidades declaradas de um cliente e em compras passadas, orientando os compradores de forma responsável por catálogos de produtos complexos sem enviar informações tendenciosas ou enganosas.
- Governo: Triagem de Solicitações do Cidadão e Coordenação de Eventos da Comunidade: Um funcionário da cidade usa um agente para categorizar solicitações de serviço de entrada (por exemplo, reparos de buraco), atribuí-las aos departamentos corretos e compilar atualizações de status simples; os funcionários revisam e finalizam as comunicações para manter a transparência e a precisão.
- Educação: Auxiliando na pesquisa e coleta de referência: Um professor conta com um agente para reunir artigos e recursos apropriados para a idade de fontes respeitáveis para uma aula de ciências planetárias; o professor verifica os materiais para precisão factual e os ajusta para se ajustarem ao currículo, garantindo que os alunos recebam conteúdo confiável.
- Fabricação: Supervisão de inventário e agendamento de tarefas: Um supervisor de fábrica implanta um agente para monitorar os níveis de inventário, agendar o reabastecimento quando os suprimentos estão baixos e otimizar as escalas de turnos; o gerenciamento confirma as sugestões do agente e mantém a autoridade final de decisão.
- Deep Research Tool: saiba mais sobre usos, recursos, limitações, riscos e considerações pretendidos ao escolher um modelo de caso de uso com tecnologia de pesquisa profunda na nota de transparência Azure OpenAI.
- Uso do Computador: a ferramenta Uso do Computador vem com riscos adicionais significativos de segurança e privacidade, incluindo ataques de injeção de comandos. Saiba mais sobre usos, recursos, limitações, riscos e considerações pretendidos ao escolher um caso de uso na nota de transparência Azure OpenAI.
- Ferramenta de Geração de Imagem: a ferramenta Geração de Imagem é capacitada pelo modelo gpt-image-1. Saiba mais sobre os usos pretendidos, capacidades, limitações, riscos e considerações ao escolher um modelo de caso de uso na nota de transparência do Azure OpenAI.
Os exemplos de agente têm usos específicos pretendidos que são configuráveis pelos desenvolvedores para desenvolver, implementar e implantar cuidadosamente os agentes. Consulte os manifestos do agente.
Considerações ao escolher um caso de uso
Incentivamos os clientes a usar o Serviço de Agente em suas soluções ou aplicativos inovadores. No entanto, aqui estão algumas coisas a serem consideradas ao escolher um caso de uso:
- Evite cenários em que o uso ou uso indevido do sistema possa resultar em danos físicos ou psicológicos significativos a um indivíduo. Por exemplo, cenários que diagnosticam pacientes ou prescrevem medicamentos têm o potencial de causar danos significativos.
- Evite cenários em que o uso ou uso indevido do sistema possa ter um impacto conseqüente nas oportunidades de vida ou no status legal. Exemplos incluem cenários em que o sistema ou agente de IA pode afetar o status legal, os direitos legais ou o acesso a crédito, educação, emprego, saúde, moradia, seguro, benefícios de assistência social, serviços, oportunidades ou os termos nos quais eles são fornecidos.
- Evite cenários de alto risco que possam levar a danos. O modelo usado em um agente pode refletir determinadas visões sociais, vieses e outros conteúdos indesejáveis presentes nos dados de treinamento ou nos exemplos apresentados no prompt. Como resultado, alertamos contra o uso de agentes em cenários de alto risco em que comportamentos injustos, não confiáveis ou ofensivos podem ser extremamente caros ou levar a danos.
- Considere cuidadosamente casos de uso em domínios de alto risco ou setor em que as ações do Agente são irreversíveis ou altamente conseqüentes. Essas indústrias incluem, mas não se limitam a áreas de saúde, medicina, finanças ou domínios legais. Por exemplo: a capacidade de fazer transações financeiras ou dar conselhos financeiros, a capacidade de interagir diretamente com serviços externos, a capacidade de administrar medicamentos ou fornecer conselhos relacionados à saúde, a capacidade de compartilhar informações confidenciais publicamente ou a capacidade de conceder acesso a sistemas críticos.
- Considerações legais e regulatórias. Microsoft leva a sério a segurança e o cumprimento das obrigações legais e regulatórias. Sempre nos esforçamos para cumprir as leis, regulamentos e padrões aplicáveis no desenvolvimento e implantação de tecnologias de IA, incluindo o Microsoft Responsible AI Standard. É responsabilidade da sua organização avaliar as implicações de segurança e possíveis obrigações legais e regulatórias específicas ao usar quaisquer Ferramentas e soluções do Foundry, incluindo agentes e exemplos de Agente subjacentes. As respostas de IA podem ser imprecisas e as ações de IA devem ser monitoradas adequadamente com a supervisão humana. Determinados usos e ofertas podem estar sujeitos a requisitos legais e regulatórios, podem exigir licenças ou podem não ser adequados para todos os setores, cenários ou casos de uso. Além disso, os agentes e os exemplos do Agente subjacente não podem ser usados de maneiras proibidas por leis, regulamentos, termos de serviço ou códigos de conduta relevantes aplicáveis.
- Microsoft não criou, testou ou verificou sistemas, APIs, servidores, agentes e serviços de terceiros aos quais você pode decidir se conectar. Quando você se conecta a um sistema de terceiros (não Microsoft), API, servidor, agente ou serviço, alguns dados serão compartilhados com esse serviço e seu aplicativo ou agente poderá receber dados em troca. Recomendamos revisar quais dados serão compartilhados e estar cientes das práticas de terceiros para retenção e localização de dados. Considere e gerencie cuidadosamente se seus dados fluirão fora dos limites geográficos e de conformidade da sua organização e quaisquer implicações relacionadas. Microsoft não tem nenhuma responsabilidade com você ou com outras pessoas em relação ao uso de sistemas remotos, APIs, servidores, ferramentas, agentes ou serviços. Seu uso desses serviços é regido pelo seu contrato com o provedor. Você é responsável por qualquer uso e custos associados.
- A Ferramenta de Automação do Navegador traz riscos de segurança substanciais e responsabilidade do usuário. A Ferramenta de Automação do Navegador vem com riscos de segurança significativos. Ambos os erros de julgamento da IA e a presença de instruções mal-intencionadas ou confusas em páginas da Web que a IA encontra podem fazer com que ele execute comandos que você ou outras pessoas não pretendem, o que pode comprometer a segurança dos navegadores, computadores e contas de outros usuários para os quais o navegador ou a IA tem acesso, incluindo sistemas pessoais, financeiros ou empresariais. Ao usar a Ferramenta de Automação do Navegador, você está reconhecendo que é responsável e responsabilidade por qualquer uso dela e de quaisquer agentes resultantes criados com ele, inclusive em relação a quaisquer outros usuários aos quais você disponibilize a funcionalidade da Ferramenta de Automação do Navegador, inclusive por meio de agentes resultantes.
Limitações
Limitações técnicas, fatores operacionais e intervalos
- Limitações do modelo de IA generativo: Como o Serviço de Agente funciona com uma variedade de modelos, o sistema geral herda as limitações específicas para esses modelos. Antes de selecionar um modelo para incorporar ao seu agente, avalie cuidadosamente o modelo para entender suas limitações. Considere examinar a Nota de Transparência do Azure OpenAI para obter informações adicionais sobre limitações de IA generativas que também provavelmente serão relevantes para o sistema e revise outras melhores práticas para incorporar IA generativa ao seu aplicativo de agente.
- Complexidades na orquestração de ferramentas: Agentes de IA dependem de várias ferramentas integradas e conectores de dados (como Pesquisa do Bing, SharePoint e Aplicativos Lógicos do Azure). Se qualquer uma dessas ferramentas estiver configurada incorretamente, indisponível ou retornar resultados inconsistentes ou um alto número de ferramentas estiver configurada em um único agente, as diretrizes do agente poderão ficar fragmentadas, desatualizadas ou enganosas.
- Representação e suporte diferentes: Ao atender diversos grupos de usuários, os Agentes de IA poderão mostrar um desempenho desigual se variedades de idiomas, dados regionais ou domínios de conhecimento especializados forem sub-representados. Um agente de varejo, por exemplo, pode oferecer recomendações de produtos menos confiáveis para clientes que falam idiomas sub-representados.
- Processos opacos de tomada de decisão: À medida que os agentes combinam modelos de linguagem grandes com sistemas externos, o rastreamento do "por quê" por trás de suas decisões pode se tornar desafiador. Um usuário que usa esse agente pode achar difícil entender por que determinadas ferramentas ou combinação de ferramentas foram escolhidas para responder a uma consulta, complicando a confiança e a verificação das saídas ou ações do agente.
- Melhores práticas e padrões em evolução: Os agentes são uma tecnologia emergente e as diretrizes sobre integração segura, uso transparente de ferramentas e implantação responsável continuam evoluindo. Acompanhar as práticas recomendadas e os procedimentos de auditoria mais recentes é crucial, pois mesmo os usos bem intencionados podem se tornar arriscados sem revisão e refinamento contínuos.
Desempenho do sistema
Práticas recomendadas para melhorar o desempenho do sistema
-
Avaliar o desempenho do agente: avalie os agentes para o quanto eles identificam de forma confiável as solicitações do usuário, selecionem ferramentas e processos apropriados e aderem às tarefas atribuídas. Use os seguintes avaliadores do Microsoft Azure AI Evaluation SDK:
- Resolução de intenção: mede o quão bem o agente identifica a solicitação do usuário, incluindo o quão bem ele define o escopo da intenção do usuário, faz perguntas esclarecedoras e lembra os usuários finais de seu escopo de recursos.
- Precisão de chamada de ferramenta: avalia a capacidade do agente de selecionar as ferramentas apropriadas e processar parâmetros corretos das etapas anteriores.
- Adesão à tarefa: mede o quão bem a resposta final do agente adere às tarefas atribuídas, de acordo com sua mensagem do sistema e as etapas anteriores.
- Forneça dados confiáveis: Recuperar ou carregar dados não confiáveis em seus sistemas pode comprometer a segurança de seus sistemas ou aplicativos. Para atenuar esses riscos em seus aplicativos usando o Serviço de Agente, recomendamos que registrem e monitorem interações LLM (entradas/saídas) para detectar e analisar possíveis injeções de prompt, definindo claramente os limites da entrada do usuário para minimizar o risco de injeção de prompt, restringindo o acesso da LLM a recursos confidenciais, limitando suas capacidades ao mínimo necessário e isolando-o de sistemas e recursos críticos. Saiba mais sobre abordagens de mitigação adicionais nas diretrizes de segurança para modelos de linguagem grandes.
- Escolha e integre as ferramentas cuidadosamente: Selecione ferramentas estáveis, bem documentadas e adequadas para os objetivos e os usos pretendidos do agente. Por exemplo, use um conector de banco de dados confiável para pesquisas factuais ou uma API bem testada para executar ações específicas. Limite o número de ferramentas para aquelas que realmente aprimoram a funcionalidade e especifique como e quando o agente deve usá-las.
- Forneça controles proativos do usuário para limites do sistema: Considere a criação de controles de usuário para dar aos usuários que operam o agente de IA a capacidade de definir proativamente limites em quais ações ou ferramentas são permitidas e em quais domínios o agente pode operar.
- Estabeleça a supervisão em tempo real e os processos com intervenção humana: Considere fornecer aos usuários controles adequados em tempo real para autorizar, verificar, revisar e aprovar o comportamento do sistema baseado em agentes, incluindo ações, tarefas planejadas, ambientes operacionais ou limites de domínio e acesso a ferramentas de conhecimento ou ação. Especialmente para tarefas críticas ou de alto risco, considere a incorporação de etapas obrigatórias de aprovação e revisão humana pelo usuário. Verifique se um usuário ou operador humano pode intervir, corrigir ou substituir facilmente as decisões do agente, especialmente quando essas decisões têm implicações legais ou de segurança. Para obter mais informações, consulte Overreliance on AI.
- Verifique a inteligibilidade e a rastreabilidade para a tomada de decisões humanas: forneça aos usuários informações antes, durante e depois de ações para ajudá-los a entender as justificativas das decisões, identificar onde intervir e solucionar problemas. Incorpore instrumentação ou registro em log no sistema, como rastreamentos OpenTelemetry do Serviço do Agente, para rastrear saídas, incluindo prompts, etapas do modelo e chamadas de ferramenta. Isso permite a reconstrução do processo de raciocínio do agente, o isolamento de problemas, o ajuste de prompts, o refinamento da integração de ferramentas e a verificação da adesão de diretrizes. Para obter mais informações, consulte Rastreamento usando o Application Insights.
- Instruções e diretrizes do agente de camada: Divida tarefas complexas em etapas ou sub-instruções no prompt do sistema. Isso pode ajudar o agente a lidar com o raciocínio de várias etapas com mais eficiência, reduzindo erros e melhorando a clareza da saída final.
- Reconhecer limites de complexidade para dimensionamento: Quando a mensagem do sistema de um único agente luta consistentemente para lidar com a complexidade, amplitude ou profundidade de uma tarefa, como produzir resultados incompletos com frequência, atingir gargalos de raciocínio ou exigir amplo conhecimento específico do domínio, o sistema pode se beneficiar da transição para uma arquitetura de vários agentes. Como prática recomendada, monitore indicadores de desempenho como precisão de resposta, latência e frequência de erro. Se os refinamentos no prompt do agente único não produzirem mais resultados aprimorados, considere decompor a carga de trabalho em subtarefas especializadas, cada uma regida por seu próprio agente. Ao segmentar tarefas complexas (por exemplo, dividir a pesquisa de políticas e a interpretação de política em agentes separados), você pode manter a modularidade, usar o conhecimento de domínio especializado com mais eficiência e reduzir a sobrecarga cognitiva em qualquer agente único.
Avaliando e integrando o Serviço do Agente para seu uso
- Mapear riscos e impactos do Agente. Antes de desenvolver ou implantar seu aplicativo agente, considere cuidadosamente o impacto das ações pretendidas e as consequências de ações ou uso de ferramentas que não funcionam conforme o esperado, como gerar ou tomar medidas sobre informações imprecisas ou causar resultados tendenciosos ou injustos, em diferentes estágios.
- Garanta a supervisão e o controle humanos adequados. Considere incluir controles para ajudar os usuários a verificar, revisar e/ou aprovar ações em tempo hábil, o que pode incluir a revisão de tarefas planejadas ou chamadas a fontes de dados externas, por exemplo, conforme apropriado para seu sistema. Considere incluir controles para a correção adequada do usuário de falhas do sistema, especialmente em cenários de alto risco e casos de uso. Por exemplo, a ferramenta MCP permite que você passe cabeçalhos personalizados, como chaves de autenticação ou esquema, conforme pode ser necessário por um servidor MCP remoto. Em casos como esse, recomendamos que você examine todos os dados que estão sendo compartilhados com servidores remotos e, opcionalmente, faça o registro em log para fins de auditoria. Esteja ciente das práticas de terceiros para retenção e localização de dados.
- Defina claramente ações e requisitos associados. Definir claramente quais ações são permitidas (limites de ação), proibidas ou precisam de autorização explícita pode ajudar seu sistema agente a operar conforme o esperado e com o nível apropriado de supervisão humana.
- Defina claramente os ambientes operacionais pretendidos. Defina claramente os ambientes operacionais pretendidos (limites de domínio) em que seu agente foi projetado para ser executado com eficiência.
- Verifique a inteligibilidade apropriada na tomada de decisões. Fornecer informações aos usuários antes, durante e depois que ações são executadas e/ou ferramentas são chamadas pode ajudá-los a entender a justificativa da ação ou por que determinadas ações foram tomadas ou o aplicativo está se comportando de uma determinada maneira, onde intervir e como solucionar problemas.
- Siga as práticas recomendadas adicionais de IA generativa conforme apropriado para seu sistema, incluindo recomendações na Nota de Transparência do Azure OpenAI.
Saiba mais sobre IA responsável
- princípios de IA Microsoft
- Recursos responsáveis de IA da Microsoft
- Microsoft Azure Cursos de aprendizagem sobre IA responsável