Monitorize a saúde e o desempenho dos agentes em toda a sua frota

À medida que a sua organização escala de copilotos isolados para frotas autónomas multiagentes, manter a visibilidade e o controlo torna-se fundamental. O Microsoft Foundry Control Plane disponibiliza um centro de comando unificado onde pode monitorizar todos os agentes, modelos e ferramentas da sua empresa, desde a montagem até à produção.

A monitorização da frota desempenha múltiplas funções:

• Os gestores de equipa ganham supervisão das operações dos agentes e da produtividade da equipa.
• Os administradores aplicam as políticas de governação e acompanham a postura de conformidade.
• Os gestores de custos otimizam os gastos e identificam ineficiências nos recursos.
• As equipas de segurança monitorizam comportamentos proibidos e violações das políticas.

Este artigo mostra-lhe como utilizar as capacidades do Foundry Control Plane para monitorizar a saúde dos agentes, desempenho, conformidade e eficiência de custos em larga escala. Ao utilizar monitorização centralizada, pode identificar problemas cedo, otimizar o consumo de recursos e ajudar a garantir que os seus sistemas de IA operam de forma segura e fiável.

Pré-requisitos

• Uma conta no Azure com uma subscrição ativa. Se não tiveres uma, cria uma conta Azure free, que inclui uma subscrição de teste gratuita.

• Um projeto da Foundry. Se não tiveres um, cria um projeto.

• As seguintes permissões:
  • Leia o acesso ao projeto e à subscrição para a qual pretende visualizar os dados
  • Log Analytics Reader função ou superior no recurso Application Insights associado ao seu agente
  • Função de Leitor de Gestão de Custos

Como funciona a monitorização

Foundry Control Plane descobre todos os agentes a que pode aceder. Utiliza os recursos Application Insights que alojam os seus agentes para o ajudar a monitorizar e diagnosticar esses agentes.

O Plano de Controlo da Foundry suporta:

Como o Foundry Control Plane agrega informação entre os recursos dentro da subscrição, diferentes utilizadores podem ver agentes diferentes listados, dependendo do seu acesso.

O Foundry Control Plane agrega logs e métricas disponíveis em cada recurso Application Insights ligado a cada agente.

O Foundry Control Plane exige que os agentes registem informações de diagnóstico seguindo os padrões OpenTelemetry com convenções semânticas para aplicações de IA Generativa . Não precisas de configurar o Application Insights em cada recurso, mas é fortemente recomendado fazê-lo. Quando o Plano de Controlo possui estes dados, pode fornecer:

• Métricas de saúde da frota: Acompanhe agentes ativos, taxas de conclusão e tendências de erro em toda a frota.
• Acompanhamento de custos e desempenho: Monitorizar o uso de tokens, o consumo orçamental e a eficiência de recursos em todos os agentes.
• Deteção de anomalias: Identificar picos de custo, degradação do desempenho e problemas emergentes através de análise de tendências.
• Análise detalhada: Passe das métricas ao nível da frota para rastreios e registos individuais de agentes para investigação detalhada.

Configurar monitorização

Siga estes passos para cada projeto onde pretende configurar a monitorização:

1. Na barra de ferramentas, selecione Operar.

2. No painel esquerdo, selecione Administrador.

3. Em Todos os projetos, use a caixa de pesquisa para procurar o seu projeto.

4. Seleciona o projeto.

5. Selecione o separador Recursos Conectados .

6. Certifique-se de que existe um recurso associado para a categoria AppInsights.

   

7. Se não houver recurso associado, adicione um selecionando Adicionar ligação e depois Insights de Aplicação.

   Dica

   Pode enviar traços para diferentes recursos Application Insights ou para o mesmo recurso, dependendo dos seus requisitos de governação e segurança.

O seu projeto está agora configurado para observabilidade e rastreamento. Para verificar se a monitorização está ativa, acesse Operações>Visão Geral no portal Foundry, selecione o seu projeto na lista suspensa e confirme que as métricas dos agentes aparecem no dashboard. As métricas podem demorar alguns minutos a preencher após a configuração inicial.

Ver métricas

Pode visualizar métricas agregadas para todos os agentes dentro de um projeto selecionado usando o Foundry. O painel de Visão Geral fornece informações sobre a saúde da frota, conformidade e tendências de desempenho.

1. Iniciar sessão no Microsoft Foundry. Certifica-te de que a opção New Foundry está ativada. Estes passos referem-se à Foundry (nova).

   

2. Na barra de ferramentas, selecione Operar.

3. Revise as métricas apresentadas no painel de Visão Geral, que mostra métricas e insights comuns para todos os agentes descobertos dentro da subscrição automaticamente.

   

4. Use a lista suspensa de projetos para filtrar as métricas para projetos específicos, se necessário.

5. Configure o intervalo de datas usando os seletores de datas no canto superior direito.

O painel de Visão Geral mostra as pontuações de saúde ao nível da frota, resumos de alertas, contagens de agentes ativos, taxas de erro e métricas de conformidade para o intervalo de tempo selecionado. Use esta perspetiva para avaliar rapidamente o estado operacional da sua frota e identificar áreas que necessitam de atenção.

Ver métricas individuais de agentes

Pode visualizar todos os seus ativos sob um projeto específico, juntamente com métricas de topo, da Foundry.

1. Iniciar sessão no Microsoft Foundry. Certifica-te de que a opção New Foundry está ativada. Estes passos referem-se à Foundry (nova).

   

2. Na barra de ferramentas, selecione Operar.

3. No painel esquerdo, selecione Ativos.

4. Selecione o separador Agentes .

   

   O separador mostra os detalhes dos agentes descobertos na subscrição. Para saber mais sobre estes detalhes, consulte Inventário de agentes.

5. Para ver informações mais detalhadas sobre o desempenho de um agente individual, selecione um agente. O painel que aparece fornece informações rápidas sobre a saúde do agente selecionado e a sua atividade recente. Use-o para identificar problemas e tomar medidas corretivas.

   

   O painel contém estas secções:

   • Alertas ativos: Consulte alertas de política, segurança e avaliação agrupados por gravidade e tome medidas.
   • Atividade: Consulte métricas-chave como taxa de erro ao longo do tempo, informação total de execução e informação sobre utilização de tokens.

Para saber mais sobre como gerir agentes individuais, consulte Gerir agentes em escala.

Resolução de Problemas de Monitorização

Se não vir métricas ou agentes esperados no dashboard, verifique as seguintes causas comuns:

• Os agentes não aparecem no painel de Ativos: Verifique se tem acesso de leitura à subscrição e ao projeto onde os agentes são implementados. Utilizadores diferentes veem agentes diferentes dependendo do seu nível de acesso.
• As métricas estão vazias ou em falta: Confirme que o recurso Application Insights está ligado ao projeto (ver Configurar monitorização). As métricas podem demorar vários minutos a preencher após a ligação inicial.
• Métricas de saúde ou vestígios não estão disponíveis para um agente específico: o agente pode estar a correr num recurso sem o Application Insights configurado. Ligue um recurso do Application Insights ao projeto do agente para permitir dados de monitorização e registos detalhados.
• Os dados de custos não aparecem: Verifique se tem o papel de Leitor de Gestão de Custos na subscrição.

Conteúdo relacionado

• O que é Microsoft Foundry Control Plane?
• Gerir agentes em escala
• Registar e gerir agentes aduaneiros