O que é o otimizador do agente? (versão prévia)

O otimizador do agente no Serviço do Foundry Agent melhora automaticamente seus agentes hospedados avaliando seu comportamento e gerando melhores configurações. Essas configurações incluem principalmente instruções de sistema aprimoradas e habilidades descobertas.

Desenvolver agentes de IA eficazes requer um extenso trabalho de engenharia de prompts. Você implementa um agente com instruções elaboradas manualmente, testa-o em cenários reais, identifica pontos fracos, revisa o prompt e repete. Esse loop é lento, subjetivo e não é dimensionado. O otimizador do agente automatiza esse ciclo para que você possa se concentrar na lógica principal do agente.

Como funciona o otimizador do agente

O otimizador de agentes executa um ciclo fechado de avaliação e aprimoramento:

1. Avalie a linha de base. O otimizador invoca seu agente em um conjunto de dados de tarefas e pontua cada resposta em relação aos critérios definidos ou a um conjunto padrão interno. O valor de referência é a pontuação do agente antes de qualquer alteração.
2. Gerar candidatos. O otimizador produz configurações alternativas chamadas candidates — instruções reescritas ou habilidades descobertas — projetadas para melhorar as pontuações.
3. Avaliar candidatos. O otimizador testa cada candidato no mesmo conjunto de dados.
4. Classificar e recomendar. O otimizador classifica os resultados por pontuação composta, um valor entre 0,0 e 1,0 que representa o desempenho agregado e marca o melhor candidato com ★ .
5. Faça o deploy do vencedor. Um único comando promove o candidato vencedor e salva sua configuração no ambiente do agente.

Todo o processo é executado na nuvem. Inicie com azd ai agent optimize (requer a extensão da CLI azd). A execução leva de 5 a 20 minutos, dependendo do tamanho do conjunto de dados.

Destinos de otimização

Um objetivo de otimização é um aspecto específico da configuração do seu agente que o otimizador pode melhorar. O otimizador do agente determina automaticamente quais alvos ativar com base na configuração base do agente e nas configurações de eval.yaml.

Ajuste de instrução

O otimizador reescreve e refina o prompt de sistema do agente. Ele analisa o desempenho de referência e gera variações de prompt que obtêm pontuações mais altas.

Quando é ativado: O ajuste de instruções ocorre quando seu agente tem um arquivo instructions.md no diretório de configuração base. Esse é o destino de otimização mais comum e funciona bem para melhorar a qualidade da resposta, a adesão aos requisitos de tarefa e a redução de saídas imprecisas.

Aprimoramento de habilidades

O otimizador melhora as habilidades reutilizáveis que seu agente usa. Ele refina os corpos de habilidade existentes (o conteúdo de implementação em cada SKILL.md arquivo) mantendo as descrições de habilidades inalteradas. O agente carrega essas habilidades por meio de load_config() e as anexa ao conjunto de instruções.

Quando é ativado: O aprimoramento de habilidades ocorre quando seu agente tem um diretório skills/ na configuração base. Use habilidades com agentes que precisam de comportamentos estruturados e repetíveis. Por exemplo, um agente de suporte que segue um procedimento de escalonamento específico ou um agente de viagens que verifica as políticas de orçamento.

Otimização da ferramenta

O otimizador aprimora descrições de ferramentas e descrições de parâmetros para ajudar o modelo a chamar ferramentas com maior precisão. Ele não altera tipos de parâmetro, padrões ou campos necessários — somente as descrições de linguagem natural são refinadas.

Quando ele é ativado: A otimização da ferramenta é executada quando o agente tem um tools.json arquivo na configuração de linha de base. O otimizador analisa quais chamadas de ferramenta são bem-sucedidas ou falham e gera descrições mais claras e descrições de parâmetro.

Seleção de modelo

O otimizador avalia seu agente em várias implantações de modelos em uma única execução para encontrar o melhor equilíbrio entre qualidade e custo. Por exemplo, ele pode determinar se gpt-4.1-mini manipula sua carga de trabalho a um custo menor ou se gpt-4.1 fornece uma melhoria de qualidade que justifica o custo extra do token.

Quando é ativado: A seleção de modelo ocorre quando você inclui optimization_config.model em eval.yaml, com uma lista de implantações de modelos a serem avaliadas. O otimizador pontua cada opção de modelo no mesmo conjunto de dados e mostra as compensações.

Configure os candidatos a modelo em seu eval.yaml:

# eval.yaml
options:
  optimization_config:
    model:
      - gpt-4.1
      - gpt-4.1-mini
      - gpt-4o

Você pode combinar a seleção de modelo com a instrução e a otimização de habilidades na mesma execução. O otimizador determina automaticamente quais metas devem ser melhoradas com base na sua configuração de referência e nas configurações optimization_config.

Resolução da configuração

Quando seu agente é iniciado, a função load_config() verifica três fontes na seguinte ordem:

Seu agente sempre funciona com ou sem otimização. Você não precisa de sinalizadores de recursos ou lógica condicional. Chame load_config() e use os valores retornados. Para obter detalhes sobre a implementação, consulte Tornar o otimizador do agente pronto.

O que é otimizado

Models

O otimizador de agente usa dois modelos durante uma execução de otimização. Ambos devem ser implantados no seu projeto do Foundry.

O modelo de avaliação é executado uma vez por tarefa por candidato. Ele lê a resposta do agente e cada critério e retorna uma pontuação binária. O modelo de otimização analisa os resultados da linha de base e gera candidatos aprimorados entre os destinos configurados (instruções, habilidades, ferramentas e modelos). Como ele raciocina com base no conjunto de dados completo, um modelo de otimização mais capaz normalmente produz melhores soluções candidatas.

# eval.yaml
options:
  eval_model: gpt-4.1-mini
  optimization_model: gpt-5.1

Entender os resultados da otimização

Esta seção descreve a estrutura da tabela de resultados, como as pontuações são computadas, o que significam melhorias de pontuação e como diagnosticar problemas comuns.

Após a conclusão de uma execução de otimização, você verá uma tabela de resultados:

Results:
  Candidate              Score    Pass  Eval
  ──────────────────── ─────── ───────  ──────
  baseline                0.76     83%  View
  candidate_1             0.78     73%  View
  candidate_2             0.79     78%  View
  candidate_3             0.77     71%  View
  candidate_4 ★           0.80     80%  View

  Candidate IDs:
      baseline             cand_abc123...
      candidate_1          cand_def456...
      candidate_2          cand_ghi789...
      candidate_3          cand_jkl012...
    ★ candidate_4          cand_mno345...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_mno345...
    azd deploy

Colunas da tabela de resultados

A ★ indica o candidato com a maior pontuação composta. Este é o candidato recomendado para implantação.

Como as pontuações são computadas

Cada avaliador em seu conjunto de dados produz uma pontuação bruta para a resposta do agente. O otimizador processa essas pontuações para produzir a pontuação composta mostrada nos resultados:

• Redimensionamento: a pontuação bruta de cada avaliador é redimensionada para 0 a 1.
• Inverta, se necessário: Se um avaliador estiver configurado de modo que valores menores sejam melhores, a pontuação será invertida para que todos os avaliadores usem a semântica de "quanto maior, melhor".
• Média: a média das pontuações reescalonadas de todos os avaliadores e tarefas é calculada para produzir a pontuação composta.

Pontuação composta: a média de todas as pontuações do avaliador redimensionada em todas as tarefas.

Interpretação das melhorias na pontuação

Vantagens e desvantagens dos tokens

As instruções otimizadas geralmente são mais longas e detalhadas, o que pode aumentar o uso do token de resposta. Considere estes fatores:

• Se o aumento do token é proporcional à melhoria da pontuação
• Se o aumento de custos se ajusta ao seu orçamento
• Se as respostas são desnecessariamente verbosas ou agregam valor com a extensão extra

Índice de aprovação

A taxa de aprovação é calculada a partir do limite de aprovação de cada avaliador. Para cada pontuação do avaliador:

• Se a pontuação bruta do avaliador for menor que o limite configurado, o resultado será uma falha.
• Se a pontuação bruta do avaliador for igual ou maior que o limite, o resultado será um passe.
• Para avaliadores em que a pontuação mais baixa é melhor, a lógica se inverte (pontuação acima do limite é considerada uma falha).

O percentual de aprovação exibido nos resultados é a proporção das pontuações dos avaliadores que foram aprovadas em todas as tarefas.

Todas as pontuações são zero

Se todos os candidatos (incluindo a linha de base) pontuarem 0,00, a causa provável será um modelo de avaliação ausente. O modelo de avaliação pontua as respostas do agente em relação aos critérios e deve ser implantado em seu projeto do Foundry.

azd ai agent optimize --eval-model gpt-4.1-mini

Limitações e disponibilidade

• O otimizador de agente está disponível em todas as regiões em que os agentes hospedados estão disponíveis.
• O otimizador de agente tem suporte para agentes hospedados que usam o protocolo Respostas.

Conteúdo relacionado

• Início Rápido: Otimizar um agente hospedado
• Deixe seu agente pronto para otimização
• Criar um conjunto de dados de avaliação
• Executar avaliações de agente com a CLI do azd
• Otimizar instruções, habilidades, ferramentas e modelos do agente