クラウドで AI Red Teaming Agent を実行する (プレビュー) (クラシック)

現在表示中:Foundry (クラシック) ポータルのバージョン - 新しい Foundry ポータルのバージョンに切り替える

重要

この記事でマークされている項目 (プレビュー) は、現在パブリックプレビュー段階です。このプレビューはサービスレベルアグリーメントなしで提供されており、運用環境のワークロードにはお勧めしません。特定の機能がサポートされていないか、機能が制限されている可能性があります。詳細については、「Microsoft Azure プレビューの使用条件を参照してください。

AI Red Teaming Agent (プレビュー) は、プロトタイピングと開発中にローカルで実行して安全性リスクを特定できますが、クラウドで実行することで、より大規模な攻撃戦略とリスクカテゴリの組み合わせで AI レッドチーミングをデプロイ前に実行して、より詳細な分析を行うことができます。

前提条件

メモ

この機能には Foundry プロジェクト を使用する必要があります。 ハブベースのプロジェクトはサポートされていません。「自分が持っているプロジェクトの種類を確認する方法」と「 Foundry プロジェクトを作成する」を参照してください。ハブベースのプロジェクトを Foundry プロジェクトに移行するには、「ハブベースから Foundry プロジェクトへの移行」を参照してください。

必要に応じて、独自のストレージアカウントを使用して評価を実行できます。

開始

まず、クラウドMicrosoft AI Red Teaming Agent を実行する Foundry SDK のプロジェクトクライアントをインストールします。

pip install azure-ai-projects==1.1.0b3 azure-identity

次に、Microsoft Foundry リソースの環境変数を設定します

import os

endpoint = os.environ["PROJECT_ENDPOINT"] # Sample : https://<account_name>.services.ai.azure.com/api/projects/<project_name>

サポートされているターゲット

クラウドで AI Red Teaming Agent を実行することは、現在、Foundry プロジェクトAzure OpenAI モデルのデプロイのみをターゲットとしてサポートしています。

ターゲットモデルを構成する

ターゲットモデルのデプロイは、次の 2 つの方法で構成できます。

オプション 1: Foundry プロジェクトの展開

Foundry プロジェクトの一部であるモデルデプロイを使用している場合は、次の環境変数を設定します。

import os

model_endpoint = os.environ["MODEL_ENDPOINT"] # Sample : https://<account_name>.openai.azure.com
model_api_key = os.environ["MODEL_API_KEY"]
model_deployment_name = os.environ["MODEL_DEPLOYMENT_NAME"] # Sample : gpt-4o-mini

Azure OpenAI/Foundry Tools の展開オプション 2

Azure OpenAI または Foundry Tools アカウントからのデプロイを使用する場合は、まず、接続を介してこれらのリソースを Foundry プロジェクトに接続する必要があります。

接続の作成: プロジェクト接続の構成の手順に従って、Azure OpenAI または AI Services リソースを Foundry プロジェクトに接続します。
接続名を取得します。アカウントを接続すると、Foundry プロジェクトで生成された名前で作成された接続が表示されます。
ターゲットを構成する: モデルのデプロイ構成に "connectionName/deploymentName" 形式を使用します。

# Format: "connectionName/deploymentName"
model_deployment_name = "my-openai-connection/gpt-4o-mini"

from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient
from azure.ai.projects.models import (
    RedTeam,
    AzureOpenAIModelConfiguration,
    AttackStrategy,
    RiskCategory,
)

with AIProjectClient(
  endpoint=endpoint,
  credential=DefaultAzureCredential(exclude_interactive_browser_credential=False),
) as project_client:

  # Create target configuration for testing an Azure OpenAI model
  target_config = AzureOpenAIModelConfiguration(model_deployment_name=model_deployment_name)

  # Instantiate the AI Red Teaming Agent
  red_team_agent = RedTeam(
      attack_strategies=[AttackStrategy.BASE64],
      risk_categories=[RiskCategory.VIOLENCE],
      display_name="red-team-cloud-run", 
      target=target_config,
  )

  # Create and run the red teaming scan
  # If you configured target using Option 1, use:
  # headers = {"model-endpoint": model_endpoint, "api-key": model_api_key}
  # If you configured target using Option 2, use:
  # headers = {}

  # Choose one of the following based on your configuration option:
  headers = {"model-endpoint": model_endpoint, "api-key": model_api_key}  # For Option 1
  # headers = {}  # For Option 2

  red_team_response = project_client.red_teams.create(red_team=red_team_agent, headers=headers)

curl --request POST \  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs:run \  --header 'content-type: application/json' \  --header 'authorization: Bearer {{ai_token}}'  --data '{  "displayName": "Red Team Scan #1",  "riskCategories": [ "Violence" ],  "attackStrategy": [ "Flip" ],  "numTurns": 1,  "target": {    "type": "AzureOpenAIModel",    "modelDeploymentName": "{{connectionName}}/{{deploymentName}}"  }}'

{{account}}、{{project}} を Foundry Project アカウント名とproject名に置き換えます。
{{ai_token}}を対象「https://ai.azure.com」のベアラートークンに置き換えます
オプション1の場合 (Foundryプロジェクトの配置): "{{connectionName}}/{{deploymentName}}" を "{{deploymentName}}" (モデル配置名) に置き換えます。
オプション 2 (Azure OpenAI/Foundry Tools デプロイの場合): "{{connectionName}}"を Foundry プロジェクトアカウントに接続されている Azure OpenAI モデル接続名に置き換え、"{{deploymentName}}" を Azure OpenAI 接続アカウントの Azure OpenAI デプロイ名に置き換えます。

AIレッドチーミングを実行する

Python
cURL

# Use the name returned by the create operation for the get call
get_red_team_response = project_client.red_teams.get(name=red_team_response.name)
print(f"Red Team scan status: {get_red_team_response.status}")

curl --request GET \  --header 'authorization: Bearer {{ai_token}}'  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs/{{scan_id}}

"{{scan_id}}"を POST API によって返された ID に置き換えます。

すべての AI レッドチーミング実行を一覧表示する

Python
cURL

for scan in project_client.red_teams.list():
  print(f"Found scan: {scan.name}, Status: {scan.status}")

curl --request GET \  --header 'authorization: Bearer {{ai_token}}'  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs

Microsoft Foundry プロジェクトでの AI レッドチーミングの結果の表示 (プレビュー)

自動スキャンが完了すると、結果も Foundry プロジェクトに記録されます。このプロジェクトは、AI レッドチーミングエージェントの作成で指定しました。

各スキャンのレポートを表示する

Foundry プロジェクトまたはハブベースのプロジェクトで、[ 評価 ] ページに移動します。 AI レッドチーミングを選択して、各スキャンの詳細なドリルダウン結果を含むレポートを表示します。

スキャンを選択すると、リスクカテゴリ別にレポートを表示できます。このレポートには、成功した攻撃の合計数と、リスクカテゴリごとの成功した攻撃の内訳が表示されます。

または、攻撃の複雑さの分類によって:

[データ] タブをさらにドリルダウンすると、各攻撃と応答のペアの行レベルのビューが表示されます。この情報は、システムの問題と動作に関するより深い分析情報を提供します。攻撃と応答のペアごとに、攻撃が成功したかどうか、使用された攻撃戦略、その攻撃の複雑さなどの詳細情報を確認できます。人間が関与するレビュー担当者は、サムズアップまたはサムズダウンのアイコンを選択して人間のフィードバックを提供できます。

各会話を表示するには、[ 詳細を表示 ] を選択して会話全体を表示し、AI システムの応答の詳細な分析を行います。

フィードバック

このページはお役に立ちましたか?

Last updated on 2026-05-01

クラウドで AI Red Teaming Agent を実行する (プレビュー) (クラシック)

前提 条件

開始

サポートされているターゲット

ターゲット モデルを構成する