Implementar las mejores prácticas de seguridad para aplicaciones habilitadas para IA.

  • 6 minutos

Las aplicaciones habilitadas para ia siguen siendo aplicaciones y, por lo tanto, es importante seguir la codificación segura y otros procedimientos recomendados de seguridad de aplicaciones. La inteligencia artificial presenta nuevas superficies de ataque, como interfaces de aviso, llamadas a herramientas de agente y puntos de conexión de modelo, pero existen junto con todos los riesgos tradicionales de seguridad de las aplicaciones. Las organizaciones deben ampliar sus prácticas de seguridad existentes para cubrir componentes específicos de la inteligencia artificial en lugar de tratar la seguridad de la inteligencia artificial como una materia independiente.

Ciclo de vida de desarrollo de software seguro (SDLC)

Integre la seguridad en cada fase del proceso de desarrollo de aplicaciones de IA:

  • Fase de diseño: realice el modelado de amenazas que incluya amenazas específicas de la inteligencia artificial (inyección de mensajes, intoxicación de datos, robo de modelos). Identifique qué componentes controlan los datos confidenciales y qué interactúan con sistemas externos.
  • Fase de desarrollo: siga los procedimientos de codificación seguros. Valide todas las entradas (incluidas las indicaciones) antes del procesamiento. Sane los datos pasados entre el orquestador de IA y los puntos de conexión de herramientas.
  • Fase de pruebas: incluya casos de prueba específicos para IA en las pruebas de seguridad; intentos de inyección de órdenes, escenarios de jailbreak y pruebas de filtración de datos junto con las pruebas de vulnerabilidad tradicionales.
  • Fase de implementación: aplique el acceso con privilegios mínimos, cifre los datos en tránsito y en reposo y configure la supervisión antes de iniciarse.
  • Fase de operaciones: supervise si hay anomalías, aplique revisiones rápidamente y realice revisiones de seguridad periódicas que incluyan los componentes de inteligencia artificial.

La adopción de un enfoque de DevSecOps, donde la seguridad se inserta en la canalización de CI/CD, ayuda a equilibrar los requisitos de seguridad con la velocidad de desarrollo.

Seguridad de las herramientas del agente de IA

Los agentes de inteligencia artificial que pueden llamar a herramientas externas (API, bases de datos, sistemas de archivos) requieren controles de seguridad adicionales. Cada interacción de herramientas es un posible punto de elevación de privilegios o pérdida de datos:

  • Manifiestos de funcionalidad: defina un manifiesto de funcionalidad para cada herramienta a la que puede llamar un agente. Enumera solo las acciones autorizadas y prohíbe todas las demás de forma predeterminada.
  • Credenciales con ámbito y de corta duración: use tokens con ámbito de corta duración para cada invocación de herramienta en lugar de credenciales de larga duración. Esto limita el radio de explosión si un token está en peligro.
  • Ejecución de espacio aislado: ejecute funciones de agente en entornos de ejecución de espacio aislado para aislar el tiempo de ejecución y evitar llamadas del sistema no autorizadas.
  • Saneamiento de entrada y salida: sane y valide todos los datos pasados entre el orquestador del agente y los puntos de conexión de herramientas. Esto evita que los ataques por inyección se propague a través de la cadena de herramientas.
  • Registro de auditoría: supervisar y auditar cada llamada de herramienta: registrar qué herramientas fueron invocadas, a qué datos se accedieron y por cuál identidad de agente. Esto proporciona el rastro forense necesario para investigar incidentes.

Diagrama de controles de seguridad de herramientas del agente de IA, incluidos manifiestos, credenciales y sandbox.

Principio de privilegio mínimo

Aplique el acceso con privilegios mínimos de forma coherente en todos los componentes del sistema de IA:

  • Limitar permisos para usuarios, aplicaciones, agentes de IA y cuentas de servicio al mínimo necesario para su función
  • Use el control de acceso basado en rol (RBAC) para administrar permisos en el nivel de agente, aparte de los permisos de los desarrolladores que crearon el agente.
  • Revisión y revocación de permisos innecesarios con regularidad
  • Reduzca el radio de explosión de una cuenta comprometida asegurándose de que ninguna identidad posea un acceso amplio.

Protección del almacenamiento y la transmisión de datos

Protección de datos a lo largo del proceso de inteligencia artificial.

  • Cifrado de datos confidenciales en reposo y en tránsito, incluidos archivos de modelo, datos de entrenamiento, registros de conversación y cargas de API
  • Uso de protocolos seguros (TLS 1.2 o posterior) para todos los intercambios de datos entre los componentes del sistema de IA
  • Almacenamiento de secretos, claves de API y credenciales en sistemas de administración de secretos dedicados, nunca en código, archivos de configuración o avisos
  • Aplicar directivas de retención a los registros de conversación y a los datos de interacción para minimizar la exposición

Supervisión y observabilidad

Supervisión del comportamiento de la aplicación de IA para detectar anomalías de seguridad:

  • Supervisa los patrones de respuesta del modelo en busca de indicadores de hackeo, inyección de comandos o intentos de filtración de datos.
  • Supervisión de llamadas de herramienta de agente para un comportamiento inesperado: llamadas a puntos de conexión no autorizados, transferencias de datos inusualmente grandes o acciones fuera del ámbito
  • Configurar alertas para patrones de uso anómalos, como picos repentinos en llamadas API o patrones de consulta inusuales que podrían indicar un ataque de extracción de modelos
  • Mantenimiento de registros de auditoría completos que capturan la identidad del usuario, la identidad del agente, las acciones realizadas y los datos a los que se accede

Pruebas y auditorías de seguridad periódicas

Realice evaluaciones de seguridad en curso que incluyan escenarios específicos de inteligencia artificial:

  • Evaluaciones de vulnerabilidades: examen de componentes del sistema de IA para detectar vulnerabilidades conocidas, incluidos marcos de servicio de modelos, bases de datos vectoriales y herramientas de orquestación
  • Pruebas de penetración: incorpore escenarios de ataque específicos de IA (inyección de instrucciones, 'jailbreaking', exfiltración de datos) en las pruebas de penetración
  • Revisiones de código: Revise el código encargado de la construcción de prompts, el enrutamiento de llamadas a herramientas y la recuperación de datos para identificar fallos de seguridad.
  • Ejercicios del equipo rojo: lleve a cabo ejercicios de equipo rojo centrados en inteligencia artificial normales para probar la eficacia de los controles de seguridad. En el siguiente módulo de esta ruta de aprendizaje se describe la formación de equipos rojo de IA en detalle.