Monitorar a integridade e o desempenho do agente em toda a sua frota

À medida que sua organização evolui de co-pilotos isolados para frotas autônomas multi-agentes, manter a visibilidade e o controle torna-se crucial. Microsoft Control Plane Foundry fornece um centro de comando unificado, no qual você pode monitorar todos os agentes, modelos e ferramentas em toda a sua empresa, desde o desenvolvimento até a produção.

O monitoramento de frotas atende a várias funções:

• Os gerentes de equipe obtêm supervisão das operações do agente e da produtividade da equipe.
• Os administradores impõem políticas de governança e controlam a postura de conformidade.
• Os gerentes de custos otimizam os gastos e identificam ineficiências de recursos.
• As equipes de segurança monitoram comportamentos proibidos e violações de políticas.

Este artigo mostra como usar os recursos do Foundry Control Plane para acompanhar a integridade, o desempenho, a conformidade e a eficiência de custo dos agentes em escala. Usando o monitoramento centralizado, você pode identificar problemas antecipadamente, otimizar o consumo de recursos e ajudar a garantir que seus sistemas de IA operem de forma segura e confiável.

Pré-requisitos

• Uma conta Azure com uma assinatura ativa. Se você não tiver uma, crie uma conta de Azure free, que inclui uma assinatura de avaliação gratuita.

• Um projeto do Foundry. Se você não tiver um, crie um projeto.

• As seguintes permissões:
  • Ler o acesso ao projeto e à assinatura para o qual você deseja exibir dados
  • Log Analytics Reader função ou superior no recurso Application Insights associado ao seu agente
  • Função de Leitor de Gerenciamento de Custos

Como o monitoramento funciona

O Plano de Controle de Fundição descobre todos os agentes que você pode acessar. Ele usa os recursos do Application Insights que hospedam seus agentes para ajudá-lo a monitorar e diagnosticar esses agentes.

O Plano de Controle do Foundry dá suporte a:

Como o Plano de Controle do Foundry agrega informações entre recursos dentro da assinatura, usuários diferentes podem ver diferentes agentes listados, dependendo do acesso.

O Plano de Controle de Foundry agrega logs e métricas que estão disponíveis em cada recurso do Application Insights que estão conectados a cada agente.

O Plano de Controle do Foundry exige que os agentes registrem informações de diagnóstico seguindo os padrões OpenTelemetry com convenções semânticas para aplicativos de IA Generative . Você não precisa configurar o Application Insights em cada recurso, mas isso é altamente recomendável. Quando o Plano de Controle tem esses dados, ele pode fornecer:

• Métricas de integridade da frota: acompanhar agentes ativos, taxas de conclusão de execução e tendências de erro em toda a sua frota.
• Controle de custo e desempenho: monitore o uso de token, o consumo de orçamento e a eficiência de recursos em todos os agentes.
• Detecção de anomalias: identifique picos de custo, degradação de desempenho e problemas emergentes por meio da análise de tendência.
• Análise aprofundada: Transite das métricas de nível de frota para rastreamentos e logs de agentes individuais para uma investigação detalhada.

Configurar o monitoramento

Siga estas etapas para cada projeto em que você deseja configurar o monitoramento:

1. Na barra de ferramentas, selecione Operar.

2. No painel esquerdo, selecione Administrador.

3. Em Todos os projetos, use a caixa de pesquisa para procurar seu projeto.

4. Selecione o projeto.

5. Selecione a guia Recursos conectados .

6. Verifique se há um recurso associado para a categoria AppInsights.

   

7. Se não houver nenhum recurso associado, adicione um selecionando Adicionar conexão e, em seguida, selecionando Application Insights.

   Dica

   Você pode enviar rastreamentos para diferentes recursos do Application Insights ou para o mesmo recurso, dependendo de seus requisitos de governança e segurança.

Seu projeto agora está configurado para observabilidade e rastreamento. Para verificar se o monitoramento está ativo, acesse Operar>Visão Geral no portal do Foundry, selecione seu projeto na lista suspensa e confirme se as métricas do agente aparecem no painel. As métricas podem levar alguns minutos para serem preenchidas após a configuração inicial.

Exibir métricas

Você pode exibir métricas agregadas para todos os agentes em um projeto selecionado usando o Foundry. O painel Visão geral fornece insights sobre a integridade da frota, a conformidade e as tendências de desempenho.

1. Entre no Microsoft Foundry. Verifique se o interruptor da Nova Fundição está ativado. Essas etapas referem-se ao Foundry (versão nova).

   

2. Na barra de ferramentas, selecione Operar.

3. Examine as métricas exibidas no painel Visão Geral , que mostra métricas e insights comuns para todos os agentes descobertos na assinatura por padrão.

   

4. Use a lista suspensa de projetos para limitar o escopo das métricas aos projetos específicos, se necessário.

5. Configure o intervalo de datas usando os seletores de data no canto superior direito.

O painel Visão geral mostra pontuações de integridade no nível da frota, resumos de alertas, contagens de agentes ativos, taxas de erro e métricas de conformidade para o intervalo de tempo selecionado. Use essa exibição para avaliar rapidamente o estado operacional de sua frota e identificar áreas que precisam de atenção.

Exibir métricas individuais do agente

Você pode exibir todos os seus ativos em um projeto específico, juntamente com métricas de nível superior, do Foundry.

1. Entre no Microsoft Foundry. Verifique se o interruptor da Nova Fundição está ativado. Essas etapas referem-se ao Foundry (versão nova).

   

2. Na barra de ferramentas, selecione Operar.

3. No painel esquerdo, selecione Ativos.

4. Selecione a guia Agentes .

   

   A guia apresenta os detalhes dos agentes detectados dentro da assinatura. Para saber mais sobre esses detalhes, consulte o inventário do Agente.

5. Para exibir informações mais granulares sobre o desempenho de um agente individual, selecione um agente. O painel exibido fornece insights rápidos sobre o estado do agente selecionado e a atividade recente. Use-o para identificar problemas e executar ações corretivas.

   

   O painel contém estas seções:

   • Alertas ativos: exibir alertas de política, segurança e avaliação agrupados por gravidade e tomar medidas.
   • Atividade: consulte as principais métricas, como taxa de erro ao longo do tempo, informações de execução total e informações sobre o uso do token.

Para saber mais sobre como gerenciar agentes individuais, consulte Gerenciar agentes em escala.

Solucionar problemas de monitoramento

Se você não vir métricas ou agentes esperados no painel, verifique as seguintes causas comuns:

• Os agentes não aparecem no painel Ativos: verifique se você tem acesso de leitura à assinatura e ao projeto em que os agentes são implantados. Usuários diferentes veem agentes diferentes dependendo do nível de acesso.
• As métricas estão vazias ou ausentes: confirme se o recurso do Application Insights está conectado ao projeto (consulte Configurar monitoramento). As métricas podem levar vários minutos para serem preenchidas após a conexão inicial.
• As métricas ou rastreamentos de integridade não estão disponíveis para um agente específico: o agente pode estar em execução em um recurso sem o Application Insights configurado. Conecte um recurso do Application Insights ao projeto do agente para habilitar dados sobre o estado do sistema e rastreamentos detalhados.
• Os dados de custo não aparecem: verifique se você tem a função Leitor de Gerenciamento de Custos na assinatura.

Conteúdo relacionado

• O que é Microsoft Foundry Plano de Controle?
• Gerenciar agentes em escala
• Registrar e gerenciar agentes personalizados