Executar o Agente de Equipe Vermelha de IA na nuvem (clássico)

Exibição no momento:Versão do portal Foundry (clássico) - Alternar para a versão do novo portal Foundry

Embora o Agente de Agrupamento Vermelho de IA (versão prévia) possa ser executado localmente durante a criação de protótipos e desenvolvimento para ajudar a identificar riscos de segurança, executá-los na nuvem permite que o agrupamento vermelho de IA de pré-implantação seja executado em combinações maiores de estratégias de ataque e categorias de risco para uma análise mais completa.

Pré-requisitos

Opcionalmente, você pode usar sua própria conta de armazenamento para executar avaliações.

Começando

Primeiro, instale o cliente do projeto do SDK do Microsoft Foundry, que executa o Agente de Equipe Vermelha de IA na nuvem.

pip install azure-ai-projects==1.1.0b3 azure-identity

Em seguida, defina suas variáveis de ambiente para seus recursos do Microsoft Foundry

import os

endpoint = os.environ["PROJECT_ENDPOINT"] # Sample : https://<account_name>.services.ai.azure.com/api/projects/<project_name>

Destinos com suporte

Atualmente, executar o Agente de Equipe Vermelha de IA na nuvem só dá suporte a implantações do modelo do OpenAI do Azure no seu projeto como destino do Foundry.

Configurar seu modelo de destino

Você pode configurar a implantação do modelo de destino de duas maneiras:

Opção 1: implantações de projetos Foundry

Se você estiver usando implantações de modelo que fazem parte do projeto foundry, configure as seguintes variáveis de ambiente:

import os

model_endpoint = os.environ["MODEL_ENDPOINT"] # Sample : https://<account_name>.openai.azure.com
model_api_key = os.environ["MODEL_API_KEY"]
model_deployment_name = os.environ["MODEL_DEPLOYMENT_NAME"] # Sample : gpt-4o-mini

Opção 2: Implantações do Azure OpenAI/Foundry Tools

Se você quiser usar implantações de suas contas do Azure OpenAI ou Foundry Tools, primeiro precisará conectar esses recursos ao seu projeto do Foundry por meio de conexões.

1. Criar uma conexão: siga as instruções em conexões de projeto Configure para conectar seu recurso Azure OpenAI ou AI Services ao seu projeto do Foundry.

2. Obtenha o nome da conexão: depois de conectar a conta, você verá a conexão criada com um nome gerado em seu projeto do Foundry.

3. Configure o destino: use o formato "connectionName/deploymentName" para a configuração de implantação do modelo:

# Format: "connectionName/deploymentName"
model_deployment_name = "my-openai-connection/gpt-4o-mini"

Criar uma execução de equipe vermelha de IA

from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient
from azure.ai.projects.models import (
    RedTeam,
    AzureOpenAIModelConfiguration,
    AttackStrategy,
    RiskCategory,
)

with AIProjectClient(
  endpoint=endpoint,
  credential=DefaultAzureCredential(exclude_interactive_browser_credential=False),
) as project_client:

  # Create target configuration for testing an Azure OpenAI model
  target_config = AzureOpenAIModelConfiguration(model_deployment_name=model_deployment_name)

  # Instantiate the AI Red Teaming Agent
  red_team_agent = RedTeam(
      attack_strategies=[AttackStrategy.BASE64],
      risk_categories=[RiskCategory.VIOLENCE],
      display_name="red-team-cloud-run", 
      target=target_config,
  )

  # Create and run the red teaming scan
  # If you configured target using Option 1, use:
  # headers = {"model-endpoint": model_endpoint, "api-key": model_api_key}
  # If you configured target using Option 2, use:
  # headers = {}

  # Choose one of the following based on your configuration option:
  headers = {"model-endpoint": model_endpoint, "api-key": model_api_key}  # For Option 1
  # headers = {}  # For Option 2

  red_team_response = project_client.red_teams.create(red_team=red_team_agent, headers=headers)

curl --request POST \  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs:run \  --header 'content-type: application/json' \  --header 'authorization: Bearer {{ai_token}}'  --data '{  "displayName": "Red Team Scan #1",  "riskCategories": [ "Violence" ],  "attackStrategy": [ "Flip" ],  "numTurns": 1,  "target": {    "type": "AzureOpenAIModel",    "modelDeploymentName": "{{connectionName}}/{{deploymentName}}"  }}'

Obter uma execução de equipe vermelha de IA

# Use the name returned by the create operation for the get call
get_red_team_response = project_client.red_teams.get(name=red_team_response.name)
print(f"Red Team scan status: {get_red_team_response.status}")

curl --request GET \  --header 'authorization: Bearer {{ai_token}}'  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs/{{scan_id}}

Listar todas as execuções de equipe vermelha de IA

for scan in project_client.red_teams.list():
  print(f"Found scan: {scan.name}, Status: {scan.status}")

curl --request GET \  --header 'authorization: Bearer {{ai_token}}'  --url https://{{account}}.services.ai.azure.com/api/projects/{{project}}/redteams/runs

Exibir os resultados da equipe vermelha de IA no projeto do Microsoft Foundry (versão prévia)

Após a conclusão da verificação automatizada, os resultados também são registrados no projeto do Foundry que você especificou na criação do seu Agente de Equipe Vermelha de IA.

Exibir relatório de cada verificação

Em seu projeto do Foundry ou projeto baseado em hub, navegue até a página Avaliação . Selecione Equipe Vermelha de IA para exibir o relatório com os resultados detalhados de cada verificação.

Depois de selecionar a verificação, você poderá exibir o relatório por categorias de risco, mostrando o número total de ataques bem-sucedidos e um detalhamento dos ataques bem-sucedidos por categorias de risco.

Ou por classificação de complexidade de ataque:

A busca detalhada na guia de dados fornece uma exibição em nível de linha de cada par de ataque-resposta. Essas informações oferecem informações mais profundas sobre problemas e comportamentos do sistema. Para cada par de resposta a ataques, você pode ver mais informações, como se o ataque foi ou não bem-sucedido, qual estratégia de ataque foi usada e sua complexidade de ataque. Um revisor humano no processo pode fornecer feedback selecionando o ícone de polegar para cima ou para baixo.

Para exibir cada conversa, selecione Exibir mais para ver a conversa completa para obter uma análise mais detalhada da resposta do sistema de IA.

Conteúdo relacionado

• Exemplo de fluxo de trabalho para a equipe vermelha do agente na nuvem
• Documentação de referência da API REST