まとめ
このモジュールでは、AI セキュリティの基本的な概念について学習しました。 AI セキュリティと従来のサイバーセキュリティの違いについて説明しました。特に、生成 AI の非決定的な性質と、自然言語インターフェイスによって作成された攻撃面の拡大が原因です。 また、OWASP Top 10 for LLM Applications や MITRE ATLAS などの責任ある AI と業界標準フレームワークの重要性についても学習しました。
AI アーキテクチャの 3 つのレイヤー (使用状況、アプリケーション、プラットフォーム) と、各レイヤーでの個別のセキュリティ上の問題について調べました。 次に、AI 固有の攻撃の 5 つのカテゴリを調べます。
- 脱獄: ダイレクト インジェクション、クレッシェンド攻撃、エンコード テクニックなど、安全ガードレールをバイパスする手法
- プロンプトインジェクション: 悪意のある命令によってモデルの動作を操作する直接的および間接的 (XPIA) 攻撃
- モデル操作: トレーニング中にモデルを侵害するモデルポイズニングとデータポイズニング攻撃
- データ流出: モデル、トレーニング データ、または相互作用データの不正な抽出
- 過剰な依存: 検証なしで AI 出力を受け入れる人間の行動リスク
攻撃の種類ごとに、技術的な制御、監視、人間の監視を組み合わせた階層化された軽減戦略について学習しました。 AI セキュリティは急速に進化する分野であり、新しい攻撃手法と対策が出現し続けています。 効果的なセキュリティ制御を維持するためには、OWASP、MITRE ATLAS、NIST AI RMF などのフレームワークを常に最新の状態に保つ必要があります。
その他のリソース
学習体験を続けるには、次に進みます。