Überwachung der Agentengesundheit und -leistung in Ihrer Flotte

Wenn Ihre Organisation von isolierten Copiloten zu autonomen Multi-Agent-Flotten skaliert, wird die Aufrechterhaltung der Sichtbarkeit und Kontrolle entscheidend. Microsoft Foundry Control Plane bietet ein einheitliches Befehlscenter, in dem Sie alle Agents, Modelle und Tools in Ihrem Unternehmen von Build zu Produktion überwachen können.

Flottenüberwachung dient mehreren Rollen:

• Teammanager gewinnen die Kontrolle über Agentenvorgänge und teamproduktivität.
• Administratoren erzwingen Governancerichtlinien und verfolgen den Compliancestatus.
• Kostenmanager optimieren Ausgaben und identifizieren Ressourcenineffizienzen.
• Sicherheitsteams überwachen auf verbotene Verhaltensweisen und Richtlinienverletzungen.

In diesem Artikel erfahren Sie, wie Sie die Funktionen der Foundry Control Plane verwenden, um die Agentengesundheit, Leistung, Compliance und Kosteneffizienz in großem Maßstab nachzuverfolgen. Mithilfe der zentralisierten Überwachung können Sie Probleme frühzeitig erkennen, den Ressourcenverbrauch optimieren und sicherstellen, dass Ihre KI-Systeme sicher und zuverlässig funktionieren.

Voraussetzungen

• Ein Azure Konto mit einem aktiven Abonnement. Wenn Sie kein Konto haben, erstellen Sie ein free Azure Konto, das ein kostenloses Testabonnement enthält.

• Ein Foundry-Projekt. Wenn Sie kein Projekt haben, erstellen Sie ein Projekt.

• Die folgenden Berechtigungen:
  • Lesezugriff auf das Projekt und das Abonnement, für das Sie Daten anzeigen möchten
  • Log Analytics Reader Rolle oder höher in der Application Insights-Ressource, die Ihrem Agent zugeordnet ist
  • Rolle "Kostenmanagement-Leser"

Funktionsweise der Überwachung

Foundry Control Plane erkennt alle Agents, auf die Sie zugreifen können. Es verwendet die Application Insights-Ressourcen, die Ihre Agents hosten, um die Überwachung und Diagnose dieser Agents zu erleichtern.

Foundry Control Plane unterstützt:

Da der Foundry Control Plane Informationen über Ressourcen innerhalb des Abonnements aggregiert, können je nach Zugriff unterschiedliche Agenten aufgelistet sein.

Foundry Control Plane aggregiert Protokolle und Metriken, die für jede Application Insights-Ressource verfügbar sind, die mit jedem Agent verbunden ist.

Foundry Control Plane erfordert, dass Agents Diagnoseinformationen protokollieren, indem sie OpenTelemetry-Standards mit semantischen Konventionen für generative KI-Anwendungen folgen. Sie müssen application Insights nicht für jede Ressource konfigurieren, dies wird jedoch dringend empfohlen. Wenn die Steuerebene über diese Daten verfügt, kann sie Folgendes liefern:

• Flottenzustandsmetriken: Verfolgen Sie aktive Agents, Vervollständigungsraten und Fehlertrends in Ihrer gesamten Flotte.
• Kosten- und Leistungsnachverfolgung: Überwachen der Tokennutzung, des Budgetverbrauchs und der Ressourceneffizienz über alle Agents hinweg.
• Anomalieerkennung: Identifizieren Sie Kostenspitzen, Leistungsbeeinträchtigungen und neue Probleme durch Trendanalyse.
• Drill-Down-Analyse: Wechseln Sie von Flottenmetriken zu einzelnen Abläufen und Protokollen der Agenten zur detaillierten Untersuchung.

Konfigurieren der Überwachung

Führen Sie die folgenden Schritte für jedes Projekt aus, in dem Sie die Überwachung konfigurieren möchten:

1. Wählen Sie auf der Symbolleiste "Ausführen" aus.

2. Wählen Sie im linken Bereich "Administrator" aus.

3. Verwenden Sie unter "Alle Projekte" das Suchfeld, um nach Ihrem Projekt zu suchen.

4. Wählen Sie das Projekt aus.

5. Wählen Sie die Registerkarte "Verbundene Ressourcen " aus.

6. Stellen Sie sicher, dass eine zugeordnete Ressource für die Kategorie "AppInsights" vorhanden ist.

   

7. Wenn keine zugeordnete Ressource vorhanden ist, fügen Sie eine hinzu, indem Sie "Verbindung hinzufügen" und dann "Application Insights" auswählen.

   Tipp

   Sie können Ablaufverfolgungen je nach Governance und Sicherheitsanforderungen an verschiedene Application Insights-Ressourcen oder an dieselbe Ressource senden.

Ihr Projekt ist jetzt für Beobachtbarkeit und Nachverfolgung konfiguriert. Um zu überprüfen, ob die Überwachung aktiv ist, wechseln Sie im Findry-Portal zu "Betriebsübersicht>", wählen Sie Ihr Projekt aus der Dropdownliste aus, und vergewissern Sie sich, dass agent-Metriken im Dashboard angezeigt werden. Metriken benötigen möglicherweise einige Minuten, um nach der Erstkonfiguration sichtbar zu werden.

Anzeigen von Metriken

Sie können aggregierte Metriken für alle Agents innerhalb eines ausgewählten Projekts mithilfe von Foundry anzeigen. Der Übersichtsbereich bietet Einblicke in Flottenintegritäts-, Compliance- und Leistungstrends.

1. Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass die Umschaltfläche "Neue Gießerei " aktiviert ist. Diese Schritte beziehen sich auf Foundry (neu).

   

2. Wählen Sie auf der Symbolleiste "Ausführen" aus.

3. Überprüfen Sie die Metriken, die im Bereich "Übersicht " angezeigt werden, in dem allgemeine Metriken und Einblicke für alle ermittelten Agents im Abonnement standardmäßig angezeigt werden.

   

4. Verwenden Sie die Projektdropdownliste, um die Metriken bei Bedarf auf bestimmte Projekte zu beschränken.

5. Konfigurieren Sie den Datumsbereich mithilfe der Datumsmarkierer in der oberen rechten Ecke.

Im Bereich "Übersicht " werden Integritätsbewertungen auf Flottenebene, Warnungszusammenfassungen, Anzahl aktiver Agent, Fehlerraten und Compliancemetriken für den ausgewählten Zeitraum angezeigt. Verwenden Sie diese Ansicht, um den Betriebszustand Ihrer Flotte schnell zu bewerten und Bereiche zu identifizieren, die Aufmerksamkeit benötigen.

Anzeigen einzelner Agentmetriken

Sie können alle Ihre Vermögenswerte in einem bestimmten Projekt zusammen mit übergeordneten Metriken in Foundry anzeigen.

1. Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass die Umschaltfläche "Neue Gießerei " aktiviert ist. Diese Schritte beziehen sich auf Foundry (neu).

   

2. Wählen Sie auf der Symbolleiste "Ausführen" aus.

3. Wählen Sie im linken Bereich "Objekte" aus.

4. Wählen Sie die Registerkarte "Agents " aus.

   

   Auf der Registerkarte werden die Details der im Abonnement ermittelten Agenten angezeigt. Um mehr über diese Details zu erfahren, sehen Sie Agentinventar.

5. Wenn Sie detailliertere Informationen zur Leistung eines einzelnen Agents anzeigen möchten, wählen Sie einen Agent aus. Der angezeigte Bereich bietet schnelle Einblicke in die Gesundheit und die jüngste Aktivität des ausgewählten Agents. Verwenden Sie sie, um Probleme zu identifizieren und Korrekturmaßnahmen zu ergreifen.

   

   Der Bereich enthält die folgenden Abschnitte:

   • Aktive Warnungen: Anzeigen von Richtlinien-, Sicherheits- und Auswertungswarnungen nach Schweregrad und Ergreifen von Maßnahmen.
   • Aktivität: Sehen Sie sich wichtige Metriken an, z. B. fehlerrate im Laufe der Zeit, Gesamtlaufinformationen und Informationen zur Tokenverwendung.

Weitere Informationen zum Verwalten einzelner Agents finden Sie unter "Verwalten von Agents im großen Maßstab".

Fehlerbehebung bei der Überwachung

Wenn im Dashboard keine erwarteten Metriken oder Agents angezeigt werden, überprüfen Sie die folgenden allgemeinen Ursachen:

• Agents werden nicht im Bereich "Ressourcen" angezeigt: Stellen Sie sicher, dass Sie Lesezugriff auf das Abonnement und das Projekt haben, in dem die Agents bereitgestellt werden. Unterschiedliche Benutzer sehen je nach Zugriffsebene unterschiedliche Agents.
• Metriken sind leer oder fehlen: Vergewissern Sie sich, dass die Application Insights-Ressource mit dem Projekt verbunden ist (siehe Konfigurieren der Überwachung). Metriken können mehrere Minuten dauern, bis sie nach der ersten Verbindung aufgefüllt werden.
• Integritätsmetriken oder Ablaufverfolgungen sind für einen bestimmten Agent nicht verfügbar: Der Agent kann auf einer Ressource ausgeführt werden, ohne dass Application Insights konfiguriert ist. Verbinden Sie eine Application Insights-Ressource mit dem Projekt des Agents, um Integritätsdaten und Drilldown-Ablaufverfolgungen zu ermöglichen.
• Kostendaten werden nicht angezeigt: Vergewissern Sie sich, dass Sie über die Rolle " Kostenverwaltungsleser " im Abonnement verfügen.

Verwandte Inhalte

• Was ist die Microsoft Foundry Control Plane?
• Verwalten von Agents im großen Maßstab
• Registrieren und Verwalten von benutzerdefinierten Agents