O que é o otimizador de agentes? (pré-visualização)

O otimizador de agentes no Foundry Agent Service melhora automaticamente os seus agentes alojados ao avaliar o seu comportamento e gerar melhores configurações. Estas configurações incluem principalmente instruções de sistema melhoradas e competências descobertas.

Construir agentes de IA eficazes requer um trabalho extensivo de conceção e aperfeiçoamento de prompts. Implementa-se um agente com instruções elaboradas manualmente, testa-se em cenários reais, identificam-se os pontos fracos, revê-se o prompt e repete-se. Este ciclo é lento, subjectivo e não é escalável. O otimizador de agentes automatiza este ciclo para que possas focar-te na lógica central do teu agente.

Como funciona o otimizador de agentes

O otimizador de agentes executa um ciclo fechado de avaliação e melhoria:

1. Avalie a linha de base. O otimizador invoca o seu agente contra um conjunto de dados de tarefas e avalia cada resposta com critérios que define ou com um conjunto padrão incorporado. A base é a pontuação do seu agente antes de qualquer alteração.
2. Gerar candidatos. O otimizador produz configurações alternativas chamadas candidatos — instruções reescritas ou competências descobertas — concebidas para melhorar as pontuações.
3. Avalie os candidatos. O otimizador testa cada candidato contra o mesmo conjunto de dados.
4. Classifica e recomenda. O otimizador classifica os resultados por pontuação composta, um valor entre 0,0 e 1,0 que representa o desempenho agregado, e marca o melhor candidato com ★ .
5. Lança o vencedor. Um único comando promove o candidato vencedor e guarda a sua configuração no ambiente do seu agente.

Todo o processo decorre na cloud. Começa com azd ai agent optimize (requer a extensão do CLI azd). A corrida demora entre 5 a 20 minutos, dependendo do tamanho do conjunto de dados.

Metas de otimização

Um alvo de otimização é um aspeto específico da configuração do seu agente que o otimizador pode melhorar. O otimizador de agentes determina automaticamente quais os alvos a ativar com base na configuração base do seu agente e nas eval.yaml definições.

Ajuste de instruções

O otimizador reescreve e refina o prompt do sistema do seu agente. Analisa o desempenho base e gera variações de prompts que obtêm pontuações mais elevadas.

Quando é ativado: O ajuste de instruções é efetuado quando o teu agente tem um ficheiro instructions.md no diretório de configuração de base. Este é o objetivo de otimização mais comum e funciona bem para melhorar a qualidade da resposta, a adesão aos requisitos da tarefa e a redução de resultados imprecisos.

Melhoria de competências

O otimizador melhora as competências reutilizáveis que o seu agente utiliza. Aperfeiçoa os corpos das competências existentes (o conteúdo de implementação em cada ficheiro SKILL.md), mantendo inalteradas as descrições das competências. O agente carrega estas capacidades através de load_config() e acrescenta-as ao conjunto de instruções.

Quando ativar: A melhoria de competências acontece quando o teu agente tem um skills/ diretório na configuração base. Use competências para agentes que necessitem de comportamentos estruturados e repetíveis. Por exemplo, um agente de apoio que segue um procedimento específico de escalonamento ou um agente de viagens que verifica políticas orçamentais.

Otimização de ferramentas

O otimizador melhora as descrições das ferramentas e as descrições dos parâmetros para ajudar o modelo a invocar ferramentas com maior precisão. Não altera tipos de parâmetros, padrões ou campos obrigatórios — apenas as descrições em linguagem natural são refinadas.

Quando ativar: A otimização de ferramentas corre quando o seu agente tem um tools.json ficheiro na configuração base. O otimizador analisa quais chamadas de ferramenta têm sucesso ou falham e gera descrições e descrições de parâmetros mais claras.

Seleção de modelos

O otimizador avalia o seu agente através de múltiplas implementações de modelos numa única execução para encontrar a melhor relação qualidade-custo. Por exemplo, pode determinar se gpt-4.1-mini gere a sua carga de trabalho a menor custo ou se gpt-4.1 oferece uma melhoria de qualidade que justifique o custo extra do token.

Quando ativar: A seleção de modelos executa-se quando inclui optimization_config.model no seu eval.yaml com uma lista de implementações de modelos a avaliar. O otimizador avalia cada opção de modelo usando o mesmo conjunto de dados e mostra as vantagens e desvantagens.

Configure os modelos candidatos no seu eval.yaml:

# eval.yaml
options:
  optimization_config:
    model:
      - gpt-4.1
      - gpt-4.1-mini
      - gpt-4o

Pode combinar a seleção de modelos com instruções e a otimização de capacidades na mesma execução. O otimizador determina automaticamente quais os alvos a melhorar com base na sua configuração base e nas optimization_config definições.

Resolução da configuração

Quando o seu agente começa, a load_config() função verifica três fontes por ordem:

O seu agente trabalha sempre com ou sem otimização. Não precisas de feature flags nem lógica condicional. Chama load_config() e usa os valores que devolve. Para mais detalhes de implementação, consulte Torne o seu agente pronto para o otimizador.

O que é otimizado

Models

O otimizador de agentes utiliza dois modelos durante uma execução de otimização. Ambos devem ser implementados no seu projeto Foundry.

O modelo de avaliação é executado uma vez por tarefa por candidato. Lê a resposta do agente e cada critério, depois devolve uma pontuação binária. O modelo de otimização analisa resultados de base e gera candidatos melhorados entre os alvos configurados (instruções, competências, ferramentas e modelos). Como se baseia em todo o conjunto de dados, um modelo de otimização mais capaz normalmente produz melhores candidatos.

# eval.yaml
options:
  eval_model: gpt-4.1-mini
  optimization_model: gpt-5.1

Compreender os resultados de otimização

Esta secção descreve a estrutura da tabela de resultados, como as pontuações são calculadas, o que significam melhorias nas pontuações e como diagnosticar problemas comuns.

Após a conclusão de uma execução de otimização, vê uma tabela de resultados:

Results:
  Candidate              Score    Pass  Eval
  ──────────────────── ─────── ───────  ──────
  baseline                0.76     83%  View
  candidate_1             0.78     73%  View
  candidate_2             0.79     78%  View
  candidate_3             0.77     71%  View
  candidate_4 ★           0.80     80%  View

  Candidate IDs:
      baseline             cand_abc123...
      candidate_1          cand_def456...
      candidate_2          cand_ghi789...
      candidate_3          cand_jkl012...
    ★ candidate_4          cand_mno345...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_mno345...
    azd deploy

Colunas da tabela de resultados

Esta ★ marca o candidato com a pontuação composta mais alta. Este é o candidato recomendado para implementação.

Como são calculadas as pontuações

Cada avaliador no seu conjunto de dados produz uma pontuação bruta para a resposta do agente. O otimizador processa estas pontuações para produzir a pontuação composta mostrada nos resultados:

• Reescala: A pontuação bruta de cada avaliador é reescalada para 0–1.
• Inverta se necessário: Se um avaliador estiver configurado para que menor seja melhor, a pontuação é invertida para que todos os avaliadores usem a semântica "mais alto é melhor".
• Média: As pontuações reescaladas entre todos os avaliadores e tarefas são médias para produzir a pontuação composta.

Pontuação composta: A média de todas as pontuações reescaladas dos avaliadores em todas as tarefas.

Interpretar melhorias nas pontuações

Vantagens e desvantagens dos tokens

As instruções otimizadas são frequentemente mais longas e detalhadas, o que pode aumentar o uso de tokens de resposta. Considere estes fatores:

• Se o aumento do token é proporcional à melhoria da pontuação
• Se o aumento de custo se enquadra no seu orçamento
• Se as respostas são desnecessariamente verbosas ou se o texto adicional acrescenta valor

Taxa de aprovação

A taxa de aprovação é calculada a partir do limiar de aprovação de cada avaliador. Para cada pontuação do avaliador:

• Se a pontuação bruta do avaliador for inferior ao limiar configurado, o resultado é falha.
• Se a pontuação bruta do avaliador for igual ou superior ao limiar, o resultado é aprovado.
• Para avaliadores em que um valor mais baixo é melhor, a lógica inverte-se (uma pontuação acima do limiar é uma falha).

A percentagem da taxa de aprovação apresentada nos resultados é a proporção das pontuações dos avaliadores que obtiveram aprovação em todas as tarefas.

Todas as pontuações são zero

Se todos os candidatos (incluindo a baseline) obterem 0,00, a causa provável é a falta do modelo de avaliação. O modelo de avaliação avalia as respostas dos agentes em função dos critérios e deve ser implementado no seu projeto Foundry.

azd ai agent optimize --eval-model gpt-4.1-mini

Limitações e disponibilidade

• O otimizador de agentes está disponível em todas as regiões onde existem agentes alojados.
• O otimizador de agentes é suportado para agentes alojados que utilizam o protocolo Responses.

Conteúdo relacionado

• Quickstart: Otimizar um agente hospedado
• Prepare o seu otimizador de agentes
• Criar um conjunto de dados de avaliação
• Executa avaliações de agentes com o CLI azd
• Otimizar as instruções, competências, ferramentas e modelos do agente