Kör AI Red Teaming Agent i molnet (förhandsversion) (klassisk)

Visar för närvarande:Foundry-portalversion - (klassisk)Växla till version för den nya Foundry-portalen

Viktigt

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller har begränsade funktioner. Mer information finns i Supplemental Terms of Use for Microsoft Azure Previews.

Även om AI Red Teaming Agent (förhandsversion) kan köras lokalt under prototyper och utveckling för att identifiera säkerhetsrisker, gör körningen av dem i molnet att ai red teaming körs i förväg på större kombinationer av attackstrategier och riskkategorier för en mer fullständig analys.

Förutsättningar

Observera

Du måste använda ett Foundry-projekt för den här funktionen. Ett hubbbaserat projekt stöds inte. Se Hur vet jag vilken typ av projekt jag har? och Skapa ett Foundry-projekt. Information om hur du migrerar ditt hubbbaserade projekt till ett Foundry-projekt finns i Migrera från hubbbaserade till Foundry-projekt.

Du kan också använda ditt eget lagringskonto för att köra utvärderingar.

Komma igång

Installera först Microsoft Foundry SDK:s projektklient, som kör AI Red Teaming Agent i molnet.

pip install azure-ai-projects==1.1.0b3 azure-identity

Ange sedan miljövariablerna för dina Microsoft Foundry-resurser

import os

endpoint = os.environ["PROJECT_ENDPOINT"] # Sample : https://<account_name>.services.ai.azure.com/api/projects/<project_name>

Mål som stöds

Att köra AI Red Teaming Agent i molnet stöder för närvarande endast Azure OpenAI-modelldistributioner i ditt Foundry-projekt som mål.

Konfigurera målmodellen

Du kan konfigurera målmodelldistributionen på två sätt:

Alternativ 1: Foundry-projektutplaceringar

Om du använder modelldistributioner som ingår i ditt Foundry-projekt konfigurerar du följande miljövariabler:

import os

model_endpoint = os.environ["MODEL_ENDPOINT"] # Sample : https://<account_name>.openai.azure.com
model_api_key = os.environ["MODEL_API_KEY"]
model_deployment_name = os.environ["MODEL_DEPLOYMENT_NAME"] # Sample : gpt-4o-mini

Alternativ 2: Azure Implementeringar av OpenAI/Foundry Tools

Om du vill använda distributioner från dina Azure OpenAI- eller Foundry Tools-konton måste du först ansluta dessa resurser till ditt Foundry-projekt via anslutningar.

Skapa en anslutning: Följ anvisningarna i Konfigurera projektanslutningar för att ansluta din Azure OpenAI- eller AI Services-resurs till ditt Foundry-projekt.
Hämta anslutningsnamnet: När du har anslutit kontot visas anslutningen som skapats med ett genererat namn i foundry-projektet.
Konfigurera målet: Använd formatet "connectionName/deploymentName" för din modelldistributionskonfiguration:

# Format: "connectionName/deploymentName"
model_deployment_name = "my-openai-connection/gpt-4o-mini"

from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient
from azure.ai.projects.models import (
    RedTeam,
    AzureOpenAIModelConfiguration,
    AttackStrategy,
    RiskCategory,
)

with AIProjectClient(
  endpoint=endpoint,
  credential=DefaultAzureCredential(exclude_interactive_browser_credential=False),
) as project_client:

  # Create target configuration for testing an Azure OpenAI model
  target_config = AzureOpenAIModelConfiguration(model_deployment_name=model_deployment_name)

  # Instantiate the AI Red Teaming Agent
  red_team_agent = RedTeam(
      attack_strategies=[AttackStrategy.BASE64],
      risk_categories=[RiskCategory.VIOLENCE],
      display_name="red-team-cloud-run", 
      target=target_config,
  )

  # Create and run the red teaming scan
  # If you configured target using Option 1, use:
  # headers = {"model-endpoint": model_endpoint, "api-key": model_api_key}
  # If you configured target using Option 2, use:
  # headers = {}

  # Choose one of the following based on your configuration option:
  headers = {"model-endpoint": model_endpoint, "api-key": model_api_key}  # For Option 1
  # headers = {}  # For Option 2

  red_team_response = project_client.red_teams.create(red_team=red_team_agent, headers=headers)

curl --request POST \  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs:run \  --header 'content-type: application/json' \  --header 'authorization: Bearer {{ai_token}}'  --data '{  "displayName": "Red Team Scan #1",  "riskCategories": [ "Violence" ],  "attackStrategy": [ "Flip" ],  "numTurns": 1,  "target": {    "type": "AzureOpenAIModel",    "modelDeploymentName": "{{connectionName}}/{{deploymentName}}"  }}'

Ersätt {{account}}, {{project}} med Foundry Project kontonamn och project namn.
Ersätt {{ai_token}} med Bearer-token med målgruppen "https://ai.azure.com"
För Alternativ 1 (Foundry-projektdistributioner): Ersätt "{{connectionName}}/{{deploymentName}}" med bara "{{deploymentName}}" (modelldistributionsnamnet).
För distributioner av Alternativ 2 (Azure OpenAI/Foundry Tools): Ersätt "{{connectionName}}" med Azure OpenAI-modellanslutningsnamnet som är anslutet till Foundry-projektkontot och ersätt "{{deploymentName}}" med Azure OpenAI-distributionsnamnet för Azure OpenAI-anslutningskontot.

Få en AI-red teaming-övning

Python
cURL

# Use the name returned by the create operation for the get call
get_red_team_response = project_client.red_teams.get(name=red_team_response.name)
print(f"Red Team scan status: {get_red_team_response.status}")

curl --request GET \  --header 'authorization: Bearer {{ai_token}}'  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs/{{scan_id}}

Ersätt "{{scan_id}}" med det ID som returneras av POST-API:et.

Lista alla AI-red teaming-körningar

Python
cURL

for scan in project_client.red_teams.list():
  print(f"Found scan: {scan.name}, Status: {scan.status}")

curl --request GET \  --header 'authorization: Bearer {{ai_token}}'  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs

Visa resultat av rödteaming av AI i Microsoft Foundry-projekt (förhandsversion)

När den automatiserade genomsökningen är klar loggas även resultatet till ditt Foundry-projekt, som du angav när du skapade din AI-röda teamindelningsagent.

Visa rapport för varje genomsökning

I ditt Foundry-projekt eller hubbbaserade projekt går du till sidan Utvärdering . Välj AI-red teaming för att visa rapporten med djupgående detaljer för varje skanning.

När du väljer i genomsökningen kan du visa rapporten efter riskkategorier, som visar det totala antalet lyckade attacker och en uppdelning av lyckade attacker per riskkategorier:

Eller genom klassificering av attackkomplexitet:

Genom att öka detaljnivån ytterligare på datafliken får du en vy på radnivå för varje attack-svar-par. Den här informationen ger djupare insikter om systemproblem och beteenden. För varje attack-svar-par kan du se mer information, till exempel om attacken lyckades eller inte, vilken attackstrategi som användes och dess attackkomplexitet. En människa i granskningsprocessen kan ge mänsklig återkoppling genom att välja ikonen för tummen upp eller tummen ner.

Om du vill visa varje konversation väljer du Visa mer för att se hela konversationen för mer detaljerad analys av AI-systemets svar.

Feedback

Var den här sidan till hjälp?

Last updated on 2026-05-01