Microsoft Foundry の損害カテゴリと重大度レベル

Microsoft Foundry ガードレールにより、AI によって生成される出力が、倫理的なガイドラインと安全基準に準拠していることを確認できます。 コンテンツ フィルタリング システムは、有害なコンテンツを、テキスト コンテンツと画像コンテンツの両方について、それぞれ 4 つの重大度レベル (安全、低、中、高) で評価される 4 つのカテゴリ (ヘイト、性的、暴力、自傷行為) に分類します。 これらのカテゴリとレベルを使用して、モデルのデプロイとエージェントの有害なコンテンツに関連するリスクを検出して軽減するガードレール コントロールを構成します。

ガードレールのしくみの概要については、「 ガードレールとコントロールの概要」を参照してください。

コンテンツの安全性システムでは、ニューラル多クラス分類モデルを使用して、テキストと画像の両方の有害なコンテンツを検出してフィルター処理します。 "安全な" 重大度レベルで検出されたコンテンツは注釈でラベル付けされますが、フィルター処理の対象ではなく、構成できません。

メモ

ヘイト、性的、暴力、自傷行為のカテゴリのテキスト コンテンツの安全性モデルは、英語、ドイツ語、日本語、スペイン語、フランス語、イタリア語、ポルトガル語、中国語の言語でトレーニングおよびテストされます。 サービスは他の多くの言語で動作しますが、検出精度と誤検知率は異なる場合があります。 呼び出しの場合は、パフォーマンスが要件を満たしていることを検証するための徹底的なテストを実施します。

損害カテゴリの説明

次の表は、Foundry ガードレールでサポートされる損害カテゴリをまとめたものです。

カテゴリ 説明
ヘイトと公平性 ヘイトと公平性に関連する損害とは、これらのグループの特定の差別化属性に基づいて、個人または ID グループを参照して差別的言語を攻撃または使用するコンテンツを指します。

このカテゴリには次のものが含まれますが、これらに限定されません。
• 人種、民族、国籍
• 性同一性グループと表現
• 性的指向
•宗教
•個人的な外観と体のサイズ
• 障害の状態
•嫌がらせやいじめ
性的 性的表現は、解剖学的な臓器や性器、ロマンチックな関係、性的行為、性的または愛情のある言葉で描かれた行為、暴行や自分の意志に対する強制的な性的暴力行為として描かれた行為などです。

このカテゴリには次のものが含まれますが、これらに限定されません。
• 下品なコンテンツ
• 売春
• ヌードとポルノ
•虐待
• 児童の搾取、児童虐待、子どものグルーミング
暴力 暴力とは、人や何かを傷つけたり、傷つけたり、傷つけたり、殺したりすることを意図した物理的な行動に関連する言葉を表します。は、武器、銃、および関連エンティティについて説明します。

このカテゴリには次のものが含まれますが、これらに限定されません。
•武器
•いじめと脅迫
•テロリストと激しい極端主義
•ストーカー
自傷行為 自傷行為とは、意図的に身体を傷つけたり、傷つけたり、体を傷つけたり、自分を殺したりすることを意図した身体行為に関連する言葉です。

このカテゴリには次のものが含まれますが、これらに限定されません。
• 食事障害
•いじめと脅迫
タスクの準拠 AI エージェントがユーザーの指示とタスクの目的に合わせて一貫して動作することを保証するのに役立ちます。 これは、ツールの呼び出しの位置がずれている、ユーザーの意図に対する不適切なツールの入力または出力、応答と顧客の入力の間の不整合など、不一致を識別します。

重大度レベル

コンテンツ安全システムは、有害なコンテンツを 4 つの重大度レベルで分類します。

重大度レベル 説明
安全 有害な物質は検出されません。 注釈が付けられますが、フィルター処理されることはありません。
低 軽度の有害な材料。 偏見、架空のコンテキストでの穏やかな描写、または個人的な経験が含まれます。
媒体 中程度の有害な物質。 有害な行為を助長するグラフィック表現、いじめ、またはコンテンツが含まれます。
高 重大な有害な物質。 極端なコンテンツ、明示的な表現、または重大な損害を支持するコンテンツが含まれます。

重大度レベルをガードレール構成にマップする方法

損害カテゴリのガードレール コントロールを構成する場合は、フラグが設定されているコンテンツを決定する重大度のしきい値を設定します。

しきい値の設定 動作
オフ このカテゴリの検出は無効になっています。 フラグが設定またはブロックされたコンテンツはありません。
低 重要度が低い以上のコンテンツにフラグを設定します。 最も制限の少ない設定。
媒体 重大度が中程度以上のコンテンツにフラグを設定します。
高 最も重大なコンテンツのみにフラグを設定します。 最も制限の厳しい設定。

"安全" レベルのコンテンツには常に注釈が付けられますが、しきい値の設定に関係なくブロックされることはありません。 これらのしきい値を構成するには、「 ガードレールとコントロールを構成する方法」を参照してください。

テキストの詳細な重大度定義

次の表では、テキスト コンテンツの各損害カテゴリ内の各重大度レベルの詳細な説明と例を示します。 [ 重大度の定義 ] タブを選択して、例を表示します。

テキスト コンテンツ

警告

このドキュメントの [ 重大度の定義 ] タブには、一部の読者に影響を与える可能性がある有害なコンテンツの例が含まれています。

イメージの詳細な重大度の定義

次の表では、画像コンテンツの各損害カテゴリ内の各重大度レベルの詳細な説明と例を示します。 [ 重大度の定義 ] タブを選択して、例を表示します。

画像の内容

警告

このドキュメントの [ 重大度の定義 ] タブには、一部の読者に影響を与える可能性がある有害なコンテンツの例が含まれています。

トラブルシューティング

重大度の分類について

コンテンツが予期しない重大度レベルで分類された場合:

  • 詳細な重大度の定義を確認して分類基準を理解する
  • 解釈を変更するコンテキストがないかどうかを確認する (教育、歴史的、架空)
  • 最適な精度を得るためのコンテンツ言語がサポートされている一覧に含まれているかどうかを確認する
  • 注釈を使用して、フィルター処理されたカテゴリだけでなく、検出されたすべてのカテゴリを表示する

感度の調整

誤検知（偽陽性または偽陰性）が多すぎる場合:

  • ガードレール構成でしきい値の設定を確認する
  • コンテンツ タイプ (教育、医療、クリエイティブ) にカスタム コンテンツ ポリシーが必要かどうかを検討する
  • サポートされているユース ケースの場合は、カスタム コンテンツ フィルター構成を要求します

詳細については、「 ガードレールとコントロールの構成」を参照してください。

次の手順

  • Last updated on