Planejamento do agrupamento vermelho de IA

O processo do agrupamento vermelho é uma melhor prática no desenvolvimento responsável de aplicativos e sistemas que usam LLMs (Grandes Modelos de Linguagem). O agrupamento vermelho complementa o trabalho sistemático de medição e mitigação feito pelos desenvolvedores e ajuda a identificar e descobrir danos. As equipes vermelhas também ajudam a habilitar estratégias de medição para validar a eficácia das mitigações.

Ao planejar sua abordagem para o red teaming de LLMs e aplicativos com tecnologia de IA, considere os seguintes objetivos:

• Verifique se os protocolos de segurança de software adequados estão sendo seguidos para o aplicativo — a IA não isenta você das práticas de segurança tradicionais
• Teste o modelo base llm e determine se há lacunas nos sistemas de segurança existentes, dado o contexto do seu aplicativo
• Fornecer comentários sobre falhas que o teste descobre para impulsionar melhorias

O processo de red team de IA tem quatro fases: recrutar a equipe, projetar testes adversariais, realizar testes e relatar os resultados.

Recrutar a equipe vermelha

O sucesso do red teaming de IA depende das pessoas que você recruta. Ao selecionar membros da equipe vermelha, siga estes princípios:

• Selecione para experiência e experiência diversas: procure membros da equipe vermelha com diferentes origens, áreas de conhecimento e casos de uso para o sistema de destino. Por exemplo, se estiver investigando um chatbot de saúde, uma enfermeira terá uma abordagem diferente de um administrador de sistemas que gerencia a infraestrutura do chatbot.
• Inclua mentalidades adversárias e benignas: ao contrário das equipes vermelhas tradicionais com apenas profissionais de segurança, as equipes vermelhas de IA também devem incluir usuários comuns. Os usuários regulares podem descobrir comportamentos prejudiciais por meio de padrões de interação naturais que os profissionais de segurança podem não pensar em testar. Por exemplo, uma enfermeira pode convencer um chatbot a liberar dados confidenciais do paciente de uma maneira que não ocorreria a um profissional de segurança.
• Atribuir membros da equipe a ameaças e funcionalidades específicas: Alocar membros com expertise específica para investigar tipos específicos de ameaças. Por exemplo, especialistas em segurança exploram vulnerabilidades como jailbreaks e extração de metaprompt. Para várias rodadas, considere alternar as atribuições para trazer novas perspectivas, permitindo tempo para ajustes.
• Forneça objetivos claros: forneça a cada membro da equipe instruções claras que abrangem a meta, os recursos do produto a serem testados, os tipos de problemas a serem investigados, as expectativas de tempo e como registrar resultados.

Forneça uma maneira consistente de registrar resultados, incluindo a data, um identificador exclusivo para reprodutibilidade, o prompt de entrada e uma descrição ou captura de tela da saída.

Projetar testes adversariais

Como um aplicativo é criado usando um modelo base, teste em ambas as camadas:

• O modelo base LLM com seu sistema de segurança implementado, normalmente por meio de um endpoint de API, para identificar lacunas que precisam ser abordadas no contexto de seu aplicativo
• O aplicativo habilitado por IA por meio de sua interface de usuário para testar o sistema completo, incluindo mecanismos de segurança a nível de aplicativo

Os profissionais de Red Team devem testar as duas camadas antes e depois que as mitigações sejam implementadas.

Executar testes

Comece testando o modelo base para entender a superfície de risco e orientar o desenvolvimento de mitigação. Teste iterativamente com e sem mitigações para avaliar sua eficácia. Use o agrupamento vermelho manual e as medidas sistemáticas e teste na interface do usuário de produção o máximo possível para replicar o uso do mundo real.

Estruturar seus testes em torno dessas atividades:

Determinar o escopo do dano

Comece com políticas organizacionais sobre confiança e segurança ou IA responsável, juntamente com as regulamentações de conformidade. Trabalhe com suas equipes legais e políticas para identificar os danos mais importantes para este aplicativo. O resultado é uma lista priorizada de danos com exemplos.

Os red teamers criativos geralmente identificam riscos que não foram previstos pelas políticas organizacionais. Várias organizações sofreram danos à reputação quando o público descobriu resultados problemáticos de IA que não foram testados. Uma equipe vermelha criativa é mais propensa a descobrir esses problemas antes do lançamento.

Estender a lista por meio de testes abertos

Complemente a lista orientada por políticas com danos encontrados através da exploração criativa. Priorize os danos para testes iterativos com base na gravidade e no contexto no qual eles provavelmente aparecerão. Adicione cada dano descoberto recentemente à lista mestra para futuras rodadas de teste.

Reteste após a aplicação de mitigações

Teste a lista completa de riscos conhecidos com medidas de mitigação implementadas. Você pode descobrir novos danos ou descobrir que as mitigações existentes são insuficientes. Atualize a lista de danos e esteja aberto a mudanças de prioridades com base nas descobertas.

Automatizar em escala

O agrupamento vermelho manual é essencial, mas difícil de dimensionar. Complete-o com ferramentas de red teaming automatizadas, estruturas que automatizam a varredura adversária de modelos e aplicativos de IA. Por exemplo, a ferramenta de Identificação de Riscos em Python de código aberto (PyRIT) fornece:

1. Verificações automatizadas: simula a sondagem adversária usando prompts de semente curados por categoria de risco, com estratégias de ataque que contornam alinhamentos de segurança
2. Pontuação: gera uma ASR (Taxa de Sucesso de Ataque) — a porcentagem de ataques bem-sucedidos — dando a você uma postura de risco quantificável
3. Relatório: Produz relatórios de desempenho sobre técnicas de ataque e categorias de risco, monitorados ao longo do tempo para conformidade e monitoramento contínuo.

Especificamente para agentes de IA, as ferramentas automatizadas podem testar categorias de risco que são difíceis de alcançar apenas por meio do teste de prompt manual, incluindo ações proibidas, vazamento de dados confidenciais por meio de chamadas de ferramenta e adesão à tarefa.

Execute ferramentas automatizadas em um ambiente de não produção configurado com recursos semelhantes à produção. Use-os como um complemento para testes manuais— a automação apresenta riscos em escala, enquanto especialistas humanos fornecem uma análise mais profunda.

Relatar os resultados

Seja estratégico com a coleta de dados para evitar sobrecarregar os membros da equipe vermelha enquanto captura informações críticas. Para exercícios menores, uma planilha compartilhada funciona bem. Para testes sistemáticos em escala, as ferramentas automatizadas fornecem métricas e coleta de resultados estruturadas.

Compartilhe relatórios regulares com os principais stakeholders que incluem:

• Os principais problemas identificados
• Um link para os dados brutos
• O plano de testes para os próximos ciclos
• Confirmação de agrupadores vermelhos

Esclareça que o agrupamento vermelho expõe e eleva a compreensão da superfície de risco , não é uma substituição para a medição sistemática e o trabalho rigoroso de mitigação. Os leitores não devem interpretar exemplos específicos como uma métrica para a difusão desse dano.