Résumé
Dans ce module, vous avez découvert les concepts fondamentaux de la sécurité de l’IA. Vous avez découvert comment la sécurité de l’IA diffère de la cybersécurité traditionnelle, en particulier en raison de la nature non déterministe de l’IA générative et de la surface d’attaque développée créée par les interfaces de langage naturel. Vous avez également découvert l’importance des infrastructures d’INTELLIGENCE artificielle responsable et standard comme OWASP Top 10 pour les applications LLM et MITRE ATLAS.
Vous avez examiné les trois couches de l’architecture IA ( utilisation, application et plateforme) et les préoccupations de sécurité distinctes à chaque couche. Vous avez ensuite exploré cinq catégories d’attaques spécifiques à l’IA :
- Jailbreaking : techniques qui contournent les mesures de sécurité, y compris l’injection directe, les attaques en crescendo et les astuces d’encodage
- Injection de commande : attaques directes et indirectes (XPIA) qui manipulent le comportement du modèle à travers des instructions malveillantes
- Manipulation du modèle : Attaques de manipulation de modèle et d'empoisonnement des données qui compromettent le modèle pendant l'entraînement.
- Exfiltration des données : extraction non autorisée de modèles, données d’apprentissage ou données d’interaction
- Sur-dépendance : risque humain d’accepter la sortie de l’IA sans vérification
Pour chaque type d’attaque, vous avez découvert les stratégies d’atténuation en couches qui combinent les contrôles techniques, la surveillance et la supervision humaine. La sécurité de l’IA est un domaine en évolution rapide : de nouvelles techniques d’attaque et contre-mesures continuent d’apparaître. Rester à jour avec les frameworks tels que OWASP, MITRE ATLAS et NIST AI RMF est essentiel pour maintenir des contrôles de sécurité efficaces.
Autres ressources
Pour poursuivre votre parcours d’apprentissage, accédez à :