Implementar as melhores práticas de segurança do aplicativo para aplicativos habilitados para IA

  • 6 minutos

Aplicativos habilitados para IA ainda são aplicativos e, portanto, ainda é importante seguir a codificação segura e outras práticas recomendadas de segurança do aplicativo. A IA apresenta novas superfícies de ataque, como interfaces de prompt, chamadas de ferramenta de agente e pontos de extremidade de modelo, mas estas existem juntamente com todos os riscos tradicionais de segurança de aplicações. As organizações devem estender suas práticas de segurança existentes para abranger componentes específicos da IA em vez de tratar a segurança da IA como uma disciplina separada.

SDLC (ciclo de vida de desenvolvimento de software seguro)

Integre a segurança em todos os estágios do processo de desenvolvimento de aplicativos de IA:

  • Fase de Design: realizar a modelagem de ameaças, a qual inclui ameaças específicas à IA (injeção de prompt, envenenamento de dados, roubo de modelo). Identifique quais componentes lidam com dados confidenciais e quais interagem com sistemas externos.
  • Fase de desenvolvimento: siga as práticas de codificação seguras. Valide todas as entradas, incluindo prompts, antes do processamento. Sanitize os dados passados entre o orquestrador de IA e os terminais da ferramenta.
  • Fase de teste: inclua casos de teste específicos de IA em seus testes de segurança: tentativas de injeção de prompt, cenários de jailbreak e investigações de exfiltração de dados junto com testes de vulnerabilidade tradicionais.
  • Fase de implantação: aplique acesso de privilégios mínimos, criptografe dados em trânsito e em repouso e configure o monitoramento antes de entrar em operação.
  • Fase de operações: monitore anomalias, aplique patches imediatamente e realize revisões de segurança regulares que incluem os componentes de IA.

A adoção de uma abordagem de DevSecOps , em que a segurança é inserida no pipeline de CI/CD, ajuda a equilibrar os requisitos de segurança com a velocidade de desenvolvimento.

Segurança da ferramenta do agente de IA

Os agentes de IA que podem chamar ferramentas externas (APIs, bancos de dados, sistemas de arquivos) exigem controles de segurança adicionais. Cada interação de ferramenta é um ponto potencial de escalonamento de privilégios ou vazamento de dados:

  • Manifestos de funcionalidade: defina um manifesto de funcionalidade para cada ferramenta que um agente pode chamar. Liste apenas as ações autorizadas e proíba todas as outras por padrão.
  • Credenciais de curta duração com escopo: Utilize tokens de curta duração e escopo para cada invocação de ferramenta em vez de credenciais de longa duração. Isso limitará o raio de explosão se um token estiver comprometido.
  • Execução em área restrita: execute funções de agente em ambientes de execução em área restrita para isolar o runtime e impedir chamadas não autorizadas do sistema.
  • Sanitização de entrada/saída: sanitizar e validar todos os dados passados entre o orquestrador do agente e os endpoints das ferramentas. Isso impede que ataques de injeção se propaguem pela cadeia de ferramentas.
  • Log de auditoria: monitore e audite cada chamada de ferramenta — registre que ferramentas foram invocadas, que dados foram acessados e por qual agente. Isso fornece a trilha forense necessária para investigar incidentes.

Diagrama de controles de segurança da ferramenta para agente de IA, incluindo manifestos, credenciais e sandbox.

Princípio do privilégio mínimo

Aplique o princípio do menor privilégio consistentemente em todos os componentes do sistema de IA:

  • Limitar permissões para usuários, aplicativos, agentes de IA e contas de serviço ao mínimo necessário para sua função
  • Use o RBAC (controle de acesso baseado em função) para gerenciar permissões no nível do agente, separado das permissões dos desenvolvedores que criaram o agente
  • Examinar e revogar permissões desnecessárias regularmente
  • Reduzir o raio de explosão de uma conta comprometida garantindo que nenhuma identidade tenha acesso amplo

Armazenamento e transmissão de dados seguros

Proteger dados em todo o pipeline de IA.

  • Criptografar dados confidenciais em repouso e em trânsito, incluindo arquivos de modelo, dados de treinamento, logs de conversa e cargas de API
  • Usar protocolos seguros (TLS 1.2 ou posterior) para todas as trocas de dados entre componentes do sistema de IA
  • Armazenar segredos, chaves de API e credenciais em sistemas de gerenciamento de segredos dedicados— nunca em código, arquivos de configuração ou prompts
  • Aplicar políticas de retenção a logs de conversa e dados de interação para minimizar a exposição

Monitoramento e observabilidade

Monitorar o comportamento do aplicativo de IA para anomalias de segurança:

  • Monitorar os padrões de resposta do modelo para sinais de jailbreaking, injeção de prompt ou tentativas de exfiltração de dados
  • Monitorar chamadas da ferramenta do agente para comportamento inesperado — chamadas para pontos de extremidade não autorizados, transferências de dados incomumente grandes ou ações fora do escopo
  • Configurar alertas para padrões de uso anômalos, como picos repentinos em chamadas à API ou padrões de consulta incomuns que podem indicar um ataque de extração de modelo
  • Manter logs de auditoria abrangentes que capturam a identidade do usuário, a identidade do agente, as ações executadas e os dados acessados

Teste e auditoria de segurança regulares

Realize avaliações de segurança contínuas que incluem cenários específicos de IA:

  • Avaliações de vulnerabilidade: verificar componentes do sistema de IA em busca de vulnerabilidades conhecidas, incluindo estruturas de serviço de modelo, bancos de dados de vetor e ferramentas de orquestração
  • Teste de penetração: incluir cenários de ataque específicos de IA (injeção de comandos, desbloqueio de sistema, exfiltração de dados) em testes de penetração
  • Revisões de código: revisar o código responsável por manipular a construção de prompts, o roteamento de chamadas de ferramenta e a recuperação de dados para falhas de segurança
  • Exercícios de equipe vermelha: realize exercícios regulares de equipe vermelha com foco em IA para testar a eficácia dos controles de segurança. O próximo módulo neste roteiro de aprendizagem aborda o agrupamento vermelho de IA em detalhes.