Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A IA agêntica expande tanto as capacidades quanto a superfície de ataque. Quando um agente pode acessar ferramentas externas, gravar em bancos de dados ou acionar processos subsequentes, falhas ou ataques maliciosos podem desviá-lo de seu curso, vazar dados confidenciais ou executar ações prejudiciais.
Os guardrails aplicados somente no nível do modelo podem deixar esses vetores expostos. Para fechar essa lacuna, Microsoft Foundry permite aplicar guardrails diretamente aos agentes e configurar controles individuais em quatro pontos de intervenção diferentes.
Pontos de intervenção
| Ponto de intervenção | Descrição | Controle de exemplo neste ponto de intervenção |
|---|---|---|
| Entrada do usuário | Uma consulta enviada de um usuário para um modelo ou agente. Às vezes, é chamado de "prompt". Alguns controles nesse ponto de intervenção exigem a inclusão de incorporação de documentos pelo usuário para que entrem em vigor. |
Risco: Ataques de entrada do usuário Ação: Anotar e bloquear Quando esse controle é especificado no guardrail de um agente ou modelo, a entrada do usuário é verificada por um modelo de classificação que detecta ataques de jailbreak. Se um ataque for detectado, a entrada do usuário será impedida de ser enviada para o modelo, interrompendo a interação. |
| Chamada de ferramenta (versão prévia) | A próxima ação que o agente está propondo realizar, conforme gerada pelo seu modelo de base. A chamada de ferramenta consiste em qual ferramenta é chamada e os argumentos com os quais ela é chamada, incluindo dados enviados para a ferramenta. |
Risco: Ódio (Alto) Ação: Anotar e bloquear Quando esse controle é especificado, sempre que o agente está prestes a executar uma chamada de ferramenta, o conteúdo proposto que está sendo enviado para a ferramenta é verificado quanto a conteúdo odioso. Se alguma for detectada, a chamada de ferramenta não será executada e o agente interromperá o funcionamento até que haja outra entrada do usuário. |
| Resposta da ferramenta (versão prévia) | O conteúdo retornado por uma ferramenta, como parte da orquestração de um agente, antes que o conteúdo seja adicionado à memória do agente ou enviado ao usuário final. |
Risco: Ataque indireto Ação: Anotar e bloquear Quando esse controle é especificado, o conteúdo completo enviado de cada ferramenta para esse agente é verificado em busca de tentativas de ataques de injeção indireta de prompt. Se detectado, o agente para de operar imediatamente e impede que o conteúdo mal-intencionado seja salvo pelo agente e que o agente seja desviado maliciosamente de seu curso. |
| Saída | O conteúdo final enviado de volta ao usuário final em resposta à consulta. |
Risco: Material protegido referente a texto Ação: Anotar somente Quando esse controle é especificado, o conteúdo final destinado a ser exibido para o usuário é verificado para determinados tipos de texto protegido por direitos autorais. Se detectado, há um sinalizador na resposta de anotação para a API usada para chamar esse modelo ou agente. |
Nota
Considerações sobre desempenho
O processamento de barreira de segurança em cada ponto de intervenção adiciona aproximadamente 50-100 ms de latência. A latência real varia de acordo com o comprimento do conteúdo e o número de controles ativos em seu guardrail.
Configurar controles em pontos de intervenção
Ao criar um guardrail, você seleciona quais controles habilitar e em quais pontos de intervenção aplicá-los. Por exemplo, para proteger contra ataques indiretos em respostas de ferramentas:
- Crie um guardrail no portal do Foundry.
- Adicione um controle para o risco de "ataque indireto".
- Selecione "Resposta da ferramenta" como o ponto de intervenção.
- Escolha "Anotar e bloquear" como a ação.
Para obter etapas detalhadas, consulte Criar um guardrail.
Ferramentas com suporte
Os pontos de intervenção de chamada e resposta da ferramenta requerem suporte à moderação da própria ferramenta. Atualmente, as seguintes ferramentas dão suporte à moderação: Pesquisa de IA do Azure , Azure Functions, OpenAPI, Aterramento do Sharepoint, Agente de Dados Fabric, Aterramento do Bing, Pesquisa Personalizada do Bing e Automação de Navegador. Se você configurar controles nos pontos de intervenção de chamada de ferramenta ou resposta de ferramenta, mas o seu agente utilizar ferramentas que não estão nessa lista, esses controles não terão efeito para essas ferramentas específicas.