Resumo
Neste módulo, aprendeu sobre os conceitos fundamentais da segurança da IA. Explorou como a segurança da IA difere da cibersegurança tradicional — particularmente devido à natureza não determinista da IA generativa e à superfície de ataque expandida criada pelas interfaces de linguagem natural. Também aprendeu sobre a importância da IA responsável e de frameworks de padrão da indústria como o OWASP Top 10 for LLM Applications e o MITRE ATLAS.
Examinou as três camadas da arquitetura de IA — utilização, aplicação e plataforma — e as preocupações de segurança distintas em cada camada. Depois exploraste cinco categorias de ataques específicos para IA:
- Jailbreaking: Técnicas que contornam barreiras de segurança, incluindo injeção direta, ataques em crescendo e truques de codificação
- Injeção de prompt: Ataques diretos e indiretos (XPIA) que manipulam o comportamento do modelo através de instruções maliciosas
- Manipulação de modelos: Ataques de envenenamento de modelos e envenenamento de dados que comprometem o modelo durante o treino
- Exfiltração de dados: Extração não autorizada de modelos, dados de treino ou dados de interação
- Dependência excessiva: O risco comportamental humano de aceitar resultados de IA sem verificação
Para cada tipo de ataque, aprendeste estratégias de mitigação em camadas que combinam controlos técnicos, monitorização e supervisão humana. A segurança da IA é um campo em rápida evolução — novas técnicas de ataque e contramedidas continuam a surgir. Manter-se atualizado com frameworks como OWASP, MITRE ATLAS e NIST AI RMF é essencial para manter controlos de segurança eficazes.
Outros recursos
Para continuar a sua jornada de aprendizagem, acesse: