Grundlegende Konzepte der KI-Sicherheit

Ki-Sicherheit ist die Praxis des Schutzes von KI-Systemen – einschließlich Modellen, Schulungsdaten, Ableitungspipelinen und KI-fähigen Anwendungen – vor Bedrohungen, die die einzigartigen Eigenschaften der künstlichen Intelligenz nutzen. Während sich die traditionelle Cybersicherheit auf den Schutz von Computersystemen, Netzwerken und Daten konzentriert, erweitert die KI-Sicherheit diese Ziele, um Risiken zu beheben, die spezifisch darauf ausgerichtet sind, wie KI-Systeme lernen, logische Schlussfolgerungen ziehen und Ausgaben generieren. Sicherheitsexperten, die im KI-Sicherheitsbereich arbeiten, müssen Steuerelemente entwerfen und implementieren, die die Ressourcen, Daten und Informationen in KI-fähigen Anwendungen schützen.

Wie unterscheidet sich KI-Sicherheit von herkömmlicher Cybersicherheit?

Ki-Sicherheit unterscheidet sich von herkömmlicher Cybersicherheit aufgrund der Art und Weise, wie KI-Systeme lernen und produzieren. Die Ausgabe von generativen KI-Modellen ist nicht immer identisch – auch wenn die gleiche Eingabe gegeben ist. Dieses nicht deterministische Verhalten stellt Beim Entwerfen von Sicherheitssteuerelementen Herausforderungen dar, da herkömmliche Steuerelemente häufig davon ausgehen, dass dieselbe Eingabe jedes Mal dieselbe Ausgabe erzeugt.

Die Schnittstellen der natürlichen Sprache, die generative KI nützlich machen, erweitern auch die Angriffsfläche. Das Einschränken von Eingaben auf ein UI-Element oder eine API ist ein gut verstandenes Sicherheitssteuerelement für herkömmliche Anwendungen, Sie können jedoch keine natürliche Sprachschnittstelle auf die gleiche Weise einschränken, ohne den Kernwert des KI-Systems zu beeinträchtigen.

Weitere Aspekte, die für KI-Sicherheit spezifisch sind, umfassen u. a. folgende:

• Integrität des KI-Modells
• Integrität der Trainingsdaten
• Bedenken in Bezug auf verantwortungsvolle KI (Responsible AI, RAI)
• Adversariale KI-Angriffe
• Diebstahl von KI-Modellen
• Blindes Vertrauen in KI
• Nichtdeterministische (kreative) Natur generativer KI

Eine der größten Herausforderungen bei der KI-Sicherheit besteht darin, dass sich das Feld schnell entwickelt. Neue Modellfunktionen, neue Integrationsmuster (z. B. KI-Agents mit Toolzugriff) und neue Angriffstechniken entstehen regelmäßig. Dieses Tempo macht es für Sicherheitsexperten schwierig, mit dem Umfang und den Funktionen der Technologie auf dem neuesten Stand zu bleiben und die richtigen Sicherheitskontrollen vorhanden zu haben.

Warum spielt verantwortungsvolle KI eine Rolle für die Cybersicherheit?

Verantwortungsvolle künstliche Intelligenz (KI) ist ein Ansatz für die Entwicklung, Bewertung und Bereitstellung von KI-Systemen auf eine sichere, vertrauenswürdige und ethische Weise. KI-Systeme sind das Ergebnis vieler Entscheidungen derjenigen, die sie entwickeln und bereitstellen. Vom Zweck des Systems bis hin zur Art und Weise, wie Menschen mit KI-Systemen interagieren, kann verantwortungsvolle KI dabei helfen, diese Entscheidungen proaktiv auf vorteilhaftere und gerechtere Ergebnisse auszurichten. Das bedeutet, dass wir den Menschen und seine Ziele in den Mittelpunkt der Entscheidungen über die Systemgestaltung stellen und dauerhafte Werte wie Fairness, Zuverlässigkeit und Transparenz respektieren.

Führende verantwortungsvolle KI-Frameworks teilen einen gemeinsamen Satz von Prinzipien für die Erstellung von KI-Systemen: Fairness, Zuverlässigkeit, Sicherheit, Datenschutz und Sicherheit, Inklusive, Transparenz und Rechenschaftspflicht. Diese Prinzipien sind der Eckpfeiler eines verantwortungsvollen und vertrauenswürdigen Ansatzes für KI.

KI-Schäden sind spezifisch für KI-Systeme, die Cybersicherheit, Datenschutz und Ethik umfassen können. KI weicht die Linien zwischen diesen traditionell getrennten Domänen. Es ist wichtig, dass Sicherheitsexperten verantwortungsvolle KI ganzheitliche verstehen, um sichere und verantwortungsvolle KI-Systeme zu schaffen.

Beispiele für sicherheitsspezifische KI-Schäden:

• Datenschutzverletzungen durch unbefugten Datenzugriff oder Rückschluss
• Übermäßige Überlastung der KI für kritische Entscheidungen

Beispiele für andere KI-Schäden:

• Erstellen von Inhalten, die gegen Richtlinien verstoßen (z. B. schädliche, anstößige oder gewalttätige Inhalte)
• Bereitstellen des Zugriffs auf gefährliche Fähigkeiten des Modells (z. B. Die Erstellung von Handlungsanweisungen für kriminelle Aktivitäten)
• Subversion von Entscheidungsfindungssystemen (z. B. Kreditantrag oder Einstellungssystem erzeugen von Angreifern kontrollierte Entscheidungen)
• Dass das System aufsehenerregende, schädliche Ergebnisse erzeugt, die dem Ruf der Organisation schaden
• IP-Verletzung

KI-Sicherheitsframeworks und Bedrohungstaxonomien

Sicherheitsexperten verwenden Branchenstandardframeworks, um KI-Sicherheitsrisiken zu klassifizieren und zu kommunizieren. Zu den weit verbreiteten Rahmenwerken gehören:

• OWASP Top 10 für LLM-Anwendungen: Die Open Worldwide Application Security Project (OWASP) verwaltet eine Rangliste mit den wichtigsten Sicherheitsrisiken, die speziell für Großsprachenmodellanwendungen spezifisch sind. Zu den Kategorien zählen Prompt Injection, unsichere Ausgabeverarbeitung, Vergiftung von Trainingsdaten und Modelldiebstahl. Diese Angriffstypen werden auch in diesem Modul behandelt. Wichtige Cloudsicherheits-Benchmarks leiten jetzt explizit Sicherheitsteams an, dieses Framework beim Training auf KI-spezifische Bedrohungen zu verwenden.
• MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems): Eine Wissensbasis von gegnerischen Taktiken und Techniken, die gegen KI-Systeme beobachtet werden, strukturiert ähnlich wie das MITRE ATT&CK Framework, das Sicherheitsexperten bereits für herkömmliche Systeme verwenden. MITRE ATLAS bietet die Angriffs-IDs und Technikenbeschreibungen, auf die KI-rote Teams beim Entwerfen von Testszenarien verweisen.
• NIST AI Risk Management Framework (AI RMF): Veröffentlicht vom National Institute of Standards and Technology, bietet dieses Framework Anleitungen für die Verwaltung von Risiken während des gesamten KI-Lebenszyklus. Es betont Governance, Transparenz und laufende Tests und Überwachung.
• ISO/IEC 42001: Ein internationaler Standard für KI-Managementsysteme, der Anforderungen für die Einrichtung, Implementierung und Verbesserung der KI-Governance bereitstellt, einschließlich Sicherheitskontrollen.

Diese Frameworks ergänzen sich gegenseitig. Sicherheitsteams verwenden sie häufig zusammen – z. B. OWASP, um Anwendungsrisiken zu priorisieren, MITRE ATLAS zum Modellieren von Gegnerverhalten und NIST AI RMF oder ISO 42001 für die Organisationsführung.

Die Angriffstechniken, die Sie in den folgenden Einheiten erfahren – einschließlich Jailbreaking, Prompt Injection, Modellmanipulation und Datenexfiltration – entsprechen Einträgen in sowohl OWASP als auch ATLAS. Wenn Sie Ihr KI-Sicherheitswissen aufbauen, helfen Ihnen diese Taxonomien, Risiken in Begriffen zu kommunizieren, die Ihre Kollegen und Complianceteams erkennen. Links zu den einzelnen Frameworks finden Sie im Abschnitt "Ressourcen" der Zusammenfassungseinheit dieses Moduls.