データ窃盗

データ流出とは、コンピューターまたはデバイスからの情報の未承認の転送のことです。 AI システムでは、AI モデルに複数のレベルで貴重なデータが含まれており、アクセスし、生成されるため、データ流出は固有のリスクを提示します。 MITRE ATLAS は、戦術 AML の下で流出攻撃をカタログ化します。TA0010。

AI に関連する 3 種類のデータ流出は次のとおりです。

• AI モデルの流出
• トレーニング データの流出
• 相互作用データの流出

AI モデルの流出

モデル流出とは、AI モデルのアーキテクチャ、重み、またはその他の独自のコンポーネントを不正に抽出することです。 攻撃者はこれを悪用して、モデルを独自の目的で複製または誤用し、整合性と知的財産を損なう可能性があります。

モデルの盗難は、次の方法で発生する可能性があります。

• 直接アクセス: 攻撃者は、リポジトリ、クラウド ストレージ、またはデプロイ環境に格納されているモデル ファイルにアクセスします
• API ベースの抽出: 攻撃者は、慎重に作成された多数のクエリをモデルの API に送信し、応答を使用してモデルの機能コピーを再構築します (モデルの盗難やモデルの複製と呼ばれることもあります)。
• サイド チャネル攻撃: 攻撃者は、応答時間、メモリ使用量、電力消費量などの間接的な情報を観察して、モデルの内部構造に関する詳細を推測します

トレーニング データの流出

トレーニング データ流出は、AI モデルの構築に使用されたデータが不正に転送または漏洩した場合に発生します。 これには、機密性の高いデータセットへの不正アクセスが含まれます。これにより、プライバシー侵害、規制違反、またはトレーニング データの知識を悪用する敵対的攻撃につながる可能性があります。

攻撃者は 、メンバーシップ推論攻撃 を使用して、特定のデータ ポイントがトレーニング セットに含まれているかどうかを判断する場合もあります。たとえば、特定の人物の医療記録が医療モデルのトレーニングに使用されたことを確認します。

AIデータ漏洩の種類を示す三つの列の図:モデルの盗難、トレーニングデータの抽出、相互作用の漏洩があり、トレーニングデータの抽出が強調されています。

相互作用データの流出

ユーザーが AI システム (特に AI エージェント) と対話するときは、財務数値、顧客の詳細、内部戦略、または独自のコードなどのプロンプトを通じて機密情報を日常的に提供します。 AI エージェントは、ユーザーが直接入力するだけでなく、取得拡張生成 (RAG)、ツール呼び出し、添付ファイルを使用して組織データをプルします。 これにより、元のトレーニング セットをはるかに超える機密性の高いデータの豊富なコレクションが作成されます。

相互作用データは、いくつかの方法で流出に対して脆弱です。

• プロンプトと応答の収集: 会話ログにアクセスしたり、API 呼び出しをインターセプトしたりする攻撃者は、セッション中にユーザーが共有した機密情報を抽出できます。
• 間接的なプロンプト挿入: ドキュメントまたは電子メールに隠された悪意のある命令により、エージェントは応答を通じて取得した組織データを漏洩させる可能性があります。ユーザーは何が起こったかを認識しません。
• ツール呼び出しペイロードインターセプト: エージェントが外部ツールまたは API を呼び出すと、システム間でデータが渡されます。 これらの接続が適切にセキュリティ保護されていない場合、攻撃者はペイロードをインターセプトして、交換されるデータをキャプチャできます。
• 会話ログの公開: 保存された会話履歴には、ユーザーの機密性の高い入力とシステムの応答の両方が含まれます。これには、多くの場合、要約された機密情報が含まれます。 これらのログは、適切に保護されていない場合は、価値の高いターゲットになります。

モデルやトレーニング データ流出とは異なり、相互作用データ流出は、ユーザーが AI システムを操作するたびに発生する継続的なリスクです。 このデータの量と感度は、相互作用のたびに増加します。

データ流出における AI の二重の役割

AI は、データ流出の防止と有効化の両方において極めて重要な役割を果たします。 AI を利用したツールは異常なデータ アクセス パターンを検出し、潜在的な侵害を特定するのに役立ちますが、AI は攻撃者に機密情報をより効率的に盗む高度な機能も提供します。 この二重の影響により、組織にとって複雑な課題が生まれます。

軽減策

データ流出は、標準的なセキュリティ プラクティスと AI 固有のコントロールの組み合わせによって軽減できます。

• 最小限の特権の原則: モデル、トレーニング データ、相互作用ログへのアクセスを、必要なユーザーのみに制限する
• データ分類とラベル付け: 監視システムが適切なアクセス制御を適用できるように、AI アプリケーションによってアクセスされるデータを分類してラベル付けする
• ゼロ トラスト アーキテクチャ: ネットワークの場所に基づく信頼を想定しないでください。すべてのアクセス要求を確認する
• 暗号化: 保存データと転送中のデータ (会話ログや API 通信を含む) を暗号化する
• アイテム保持ポリシー: 対話データを格納する期間を制限して、公開期間を短縮する
• 入力のサニタイズ: 外部ツールに渡される前に入力をクリーンアップして、エージェントアクションによるデータ漏えいを防ぐ
• 行動監視: 流出の試行を示す可能性がある予期しないデータアクセスパターンをエージェントの行動を追跡する
• レート制限: API クエリボリュームを制限してモデル抽出攻撃を非現実的にする