Introducción

  • 2 minutos

Ha aprendido sobre los tipos de ataques que tienen como destino los sistemas de inteligencia artificial y los controles de seguridad que puede poner en marcha para protegerlos. Sin embargo, saber que existen vulnerabilidades y saber cómo encontrarlos antes de que los atacantes realicen son dos aptitudes diferentes. Aquí es donde entran las pruebas de seguridad de inteligencia artificial.

Las pruebas de seguridad de inteligencia artificial( específicamente la formación de equipos rojos de IA) son el proceso de sondeo de sistemas de inteligencia artificial con técnicas adversas para detectar vulnerabilidades antes de que se puedan aprovechar. Es una práctica necesaria en cualquier ciclo de vida de desarrollo de inteligencia artificial responsable y funciona de forma diferente a las pruebas de penetración tradicionales de maneras que importan sobre cómo planearlo y ejecutarlo.

En este módulo, aprenderá qué es la formación de equipos rojos de IA y por qué difiere de las pruebas de seguridad tradicionales, las tres categorías de formación de equipos rojos de IA que se usan en la práctica y cómo planear un ejercicio de formación de equipos rojo para una aplicación habilitada para LLM o IA en su organización.

Objetivos de aprendizaje

Al finalizar este módulo, podrá hacer lo siguiente:

  • Describir qué es la formación de equipos rojos de IA y cómo difiere de la formación de equipos rojo de seguridad tradicional
  • Identificar las tres categorías de formación de equipos rojos de IA y las aptitudes que cada una requiere
  • Planificar un ejercicio de red teaming de IA, incluida la composición del equipo y la metodología de pruebas
  • Describir cómo las herramientas de red teaming automatizadas complementan las pruebas manuales

Prerrequisitos

Para obtener la mejor experiencia de aprendizaje de este módulo, debe tener conocimientos y experiencia de: