Introdução

  • 2 minutos

Você aprendeu sobre os tipos de ataques direcionados a sistemas de IA e os controles de segurança que você pode colocar em prática para protegê-los. No entanto, saber que existem vulnerabilidades e saber como encontrá-las antes dos invasores são duas habilidades diferentes. É aí que entra o teste de segurança de IA.

O teste de segurança de IA, especificamente o agrupamento vermelho de IA, é o processo de investigação de sistemas de IA com técnicas adversárias para descobrir vulnerabilidades antes que eles possam ser explorados. É uma prática necessária em qualquer ciclo de vida de desenvolvimento de IA responsável e funciona de forma diferente dos testes de penetração tradicionais de maneiras que importam para como você planeja e executa.

Neste módulo, você aprenderá o que é o agrupamento vermelho de IA e por que ele difere do teste de segurança tradicional, das três categorias de agrupamento vermelho de IA usadas na prática e como planejar um exercício de agrupamento vermelho para um aplicativo habilitado para LLM ou IA em sua organização.

Objetivos de aprendizagem

Ao final deste módulo, você será capaz de fazer o seguinte:

  • Descrever o que é o agrupamento vermelho de IA e como ele difere do agrupamento vermelho de segurança tradicional
  • Identificar as três categorias de agrupamento vermelho de IA e as habilidades necessárias
  • Planejar um exercício de agrupamento vermelho de IA, incluindo a composição da equipe e a metodologia de teste
  • Descrever como as ferramentas de agrupamento vermelho automatizadas complementam o teste manual

Pré-requisitos

Para ter uma melhor experiência de aprendizagem com este módulo, você precisará ter conhecimento e experiência em: