Introduction

Aprendeu sobre os tipos de ataques que visam sistemas de IA e os controlos de segurança que pode implementar para os proteger. No entanto, saber que as vulnerabilidades existem e saber como as encontrar antes dos atacantes são duas competências diferentes. É aqui que entra o teste de segurança por IA.

Os testes de segurança de IA — especificamente o red teaming de IA — são o processo de sondar sistemas de IA com técnicas adversariais para descobrir vulnerabilidades antes que possam ser exploradas. É uma prática obrigatória em qualquer ciclo de vida responsável de desenvolvimento de IA, e funciona de forma diferente dos testes de penetração tradicionais nas formas que influenciam a forma como o planeia e executa.

Neste módulo, aprende o que é o red teaming de IA e por que difere dos testes tradicionais de segurança, as três categorias de red teaming de IA usadas na prática, e como planear um exercício de red teaming para um LLM ou aplicação com IA na sua organização.

Objetivos de aprendizagem

Ao final deste módulo, você é capaz de:

• Descreva o que é o red teaming de IA e em que difere do red teaming tradicional de segurança
• Identifique as três categorias de equipas de ataque de IA e as competências que cada uma requer
• Planeie um exercício de red teaming com IA, incluindo composição da equipa e metodologia de testes
• Descreva como as ferramentas automatizadas de red teaming complementam os testes manuais

Pré-requisitos

Para obter a melhor experiência de aprendizagem deste módulo, você deve ter conhecimento e experiência de:

• Conceitos fundamentais de segurança (por exemplo, autenticação, controlo de acessos, encriptação)
• Conceitos fundamentais de IA (por exemplo, modelos, treino, inferência)
• Os tipos de ataques de IA abordados no módulo Fundamentos da segurança da IA
• Os controlos de segurança de IA abrangidos no módulo controlos de segurança de IA