Implementar práticas recomendadas de segurança de aplicativos para aplicativos habilitados para IA

  • 6 minutos

As aplicações habilitadas por IA continuam a ser aplicações, e por isso continua a ser importante seguir a codificação segura e outras boas práticas de segurança de aplicações. A IA introduz novas superfícies de ataque — como interfaces de comando, chamadas de ferramentas de agentes e endpoints de modelo — mas estas coexistem com todos os riscos tradicionais de segurança das aplicações. As organizações devem alargar as suas práticas de segurança existentes para abranger componentes específicos da IA, em vez de tratar a segurança da IA como uma disciplina separada.

Ciclo de vida do desenvolvimento de software seguro (SDLC)

Integre a segurança em todas as fases do processo de desenvolvimento de aplicações de IA:

  • Fase de conceção: Realizar modelação de ameaças que inclua ameaças específicas de IA (injeção de prompt, envenenamento de dados, roubo de modelos). Identifique quais os componentes que lidam com dados sensíveis e quais interagem com sistemas externos.
  • Fase de desenvolvimento: Siga práticas de codificação segura. Valide todas as entradas — incluindo os prompts — antes de processar. Saneie os dados passados entre o orquestrador de IA e os endpoints das ferramentas.
  • Fase de testes: Inclua casos de teste específicos de IA nos seus testes de segurança: tentativas de injeção rápida, cenários de jailbreak e sondas de exfiltração de dados juntamente com os testes tradicionais de vulnerabilidades.
  • Fase de implementação: Aplicar acesso de privilégio mínimo, encriptar dados em trânsito e em repouso, e configurar a monitorização antes de entrar em funcionamento.
  • Fase de operações: Monitorizar anomalias, aplicar patches rapidamente e realizar revisões regulares de segurança que incluam os componentes de IA.

Adotar uma abordagem DevSecOps — onde a segurança está integrada no pipeline CI/CD — ajuda a equilibrar os requisitos de segurança com a velocidade de desenvolvimento.

Segurança das ferramentas de agentes de IA

Agentes de IA que podem chamar ferramentas externas (APIs, bases de dados, sistemas de ficheiros) requerem controlos de segurança adicionais. Cada interação com a ferramenta é um potencial ponto de escalonamento de privilégios ou fuga de dados:

  • Manifestos de capacidade: Defina um manifesto de capacidade para cada ferramenta que um agente possa chamar. Liste apenas as ações autorizadas e proíba todas as outras por padrão.
  • Credenciais com escopo e de curta duração: Utilize tokens com escopo e de vida curta para cada invocação de ferramenta, em vez de credenciais que durem por mais tempo. Isto limita o raio de explosão se um token for comprometido.
  • Execução em sandbox: Executar funções de agente em ambientes de execução sandboxed para isolar o tempo de execução e prevenir chamadas de sistema não autorizadas.
  • Sanitização de entrada/saída: Sanitizar e validar todos os dados passados entre o agente orquestrador e os endpoints da ferramenta. Isto impede que ataques de injeção se propaguem pela cadeia de ferramentas.
  • Registo de auditoria: Monitorize e audite todas as chamadas de ferramenta — regista quais as ferramentas invocadas, que dados foram acedidos e por que agente foi identificado. Isto fornece o rasto forense necessário para investigar incidentes.

Diagrama dos controlos de segurança da ferramenta de agentes de IA, incluindo manifestos, credenciais e sandboxing.

Princípio do menor privilégio

Aplique o acesso de privilégio mínimo de forma consistente em todos os componentes do sistema de IA:

  • Limitar as permissões para utilizadores, aplicações, agentes de IA e contas de serviço ao mínimo necessário para a sua função
  • Utilize o controlo de acesso baseado em funções (RBAC) para gerir permissões ao nível do agente, separadamente das permissões dos programadores que criaram o agente
  • Revê e revoga permissões desnecessárias regularmente
  • Reduza o raio de explosão de uma conta comprometida garantindo que nenhuma identidade individual tem acesso amplo

Armazenamento e transmissão segura de dados

Proteja os dados ao longo de todo o pipeline de IA:

  • Encriptar dados sensíveis em repouso e em trânsito, incluindo ficheiros de modelos, dados de treino, registos de conversa e cargas úteis da API
  • Use protocolos seguros (TLS 1.2 ou posterior) para todas as trocas de dados entre componentes do sistema de IA
  • Armazenar segredos, chaves API e credenciais em sistemas dedicados de gestão de segredos — nunca em código, ficheiros de configuração ou prompts
  • Aplicar políticas de retenção aos registos de conversa e aos dados de interação para minimizar a exposição

Monitorização e observabilidade

Monitorizar o comportamento das aplicações de IA para anomalias de segurança:

  • Acompanhar padrões de resposta do modelo para sinais de jailbreaking, injeção rápida ou tentativas de exfiltração de dados
  • Monitorize chamadas de ferramentas de agentes para comportamentos inesperados — chamadas a endpoints não autorizados, transferências de dados invulgarmente grandes ou ações fora do âmbito
  • Configure alertas para padrões de utilização anómalos, como picos súbitos nas chamadas de API ou padrões de consulta invulgares que possam indicar um ataque de extração de modelo
  • Manter registos de auditoria abrangentes que capturem a identidade do utilizador, a identidade do agente, as ações realizadas e os dados acedidos

Testes e auditorias regulares de segurança

Realizar avaliações de segurança contínuas que incluam cenários específicos de IA:

  • Avaliações de vulnerabilidades: Analise componentes do sistema de IA para vulnerabilidades conhecidas, incluindo frameworks de serviço de modelos, bases de dados vetoriais e ferramentas de orquestração
  • Testes de penetração: Incluir cenários de ataque específicos para IA (injeção rápida, jailbreak, exfiltração de dados) nos testes de penetração
  • Revisões de código: Revê código que lida com a construção de prompts, encaminhamento de chamadas de ferramentas e recuperação de dados para falhas de segurança
  • Exercícios da equipa vermelha: Realizar exercícios regulares da equipa vermelha focados em IA para testar a eficácia dos controlos de segurança. O módulo seguinte neste percurso de aprendizagem aborda o red teaming da IA em detalhe.