Nachverfolgen des Vorfallwerts in Azure SRE-Agent

Sie haben einen KI-Agent für die Behandlung von Vorfällen bereitgestellt. Führungskräfte möchten wissen: Reduziert es tatsächlich den Aufwand? Welche Vorfälle löst es eigenständig? Erzielen wir einen ROI aus dieser Investition?

Heute bedeutet die Beantwortung dieser Fragen das manuelle Abfragen von Telemetrie, das Abgleichen von Inzidenztickets sowie das Erraten, welche Reaktionspläne wirksam sind. Es gibt keine einzige Ansicht, die zeigt, was Ihr Mitarbeiter getan hat, wie gut jeder Antwortplan funktioniert hat oder ob sich die Minderungsraten im Laufe der Zeit verbessern.

Ohne diese Daten können Sie einen Reaktionsplan nicht unterscheiden, der 80% von Vorfällen autonom von einer Lösung löst, die alles an den Menschen eskaliert. Sie können Ihr Team nicht anzeigen, dass der Agent über Nacht 15 Vorfälle verarbeitet hat, während jeder schlief. Und Sie können keine fundierten Entscheidungen darüber treffen, wo Sie in eine bessere Automatisierung investieren.

Funktionsweise der Vorfallwertnachverfolgung

Ihr Agent zeichnet bei jeder Verarbeitung eines Vorfalls eine Aktivitätsmomentaufnahme auf. Diese Momentaufnahmen erfassen das Ergebnis: ob der Agent den Vorfall selbstständig entschärft, die Ermittlungen unterstützt oder den Fall an einen Menschen eskaliert hat. Das Dashboard für Vorfallmetriken aggregiert diese Momentaufnahmen in vier interaktive KPI-Karten, ein Volumediagramm, eine Treemap zur Stammursache, ein Schweregradverteilungsdiagramm und ein Leistungsraster pro Reaktionsplan.

Wechseln Sie zu Überwachen>Vorfallmetriken, um das Dashboard anzuzeigen.

KPI-Karten

Vier Karten oben geben Ihnen eine Zusammenfassung auf einen Blick. Jede Karte ist klickbar und öffnet ein detailliertes Trenddiagramm.

Die Erfolgsratenkarte enthält eine gestapelte Ergebnisleiste, eine dünne horizontale Leiste mit vier farbcodierten Segmenten, die die Verteilung der Vorfallergebnisse auf einen Blick zeigen.

Die Qualitätsbewertungskarte verwendet eine Bewertung mit 5 Sternen, um die Bewertung "Intent Met" sofort lesbar zu machen. Die gleiche Sternbewertung wird in der Spalte "Qualität" des Antwortplanrasters angezeigt.

Interaktiver Drilldown

Jede Visualisierung im Dashboard kann geklickt werden. Wählen Sie ein Segment aus, um einen Drilldown-Modal mit den übereinstimmenden Vorfällen zu öffnen.

Das Drilldown-Modalfenster zeigt bis zu 200 Incidents mit sortierbaren Spalten an: ID, Titel, Schweregrad, Status, Erstellungsdatum, Unterstützung durch Agent und wer die Behebung durchgeführt hat. Verwenden Sie das Suchfeld, um nach Vorfalltitel, ID, Schweregrad oder Status zu filtern.

Wählen Sie einen Vorfalltitel aus, um den Untersuchungsthread in einer Seitenschublade zu öffnen. Sie können überprüfen, was der Agent getan hat, ohne die Analyseseite zu verlassen.

Stammursachen-Baumkarte

Grundursachen werden als Kacheln mit proportionaler Größe angezeigt. Größere Kacheln bedeuten mehr Vorfälle mit dieser Ursache. Jede Kachel zeigt den Namen der Ursache und die Anzahl der Vorfälle an. Wählen Sie eine beliebige Kachel aus, um einen Drilldown zu Vorfällen mit dieser Ursache zu erstellen.

Vorfallvolumendiagramm

Ein gestapeltes Diagramm zeigt das Incidentvolumen im Laufe der Zeit, aufgeschlüsselt nach Ergebnis: Vom Agenten entschärft, vom Agent unterstützt, vom Menschen entschärft und aktiv/ausstehend. Umschalten zwischen Flächen- und Balkendiagrammansichten mithilfe der Schaltflächen oben rechts im Diagramm.

Wählen Sie einen beliebigen Datenpunkt aus, um einen Drilldown zu den Vorfällen dieses Tages zu erstellen. Wählen Sie eine Legendenbezeichnung aus, um alle Vorfälle dieses Ergebnistyps anzuzeigen.

Schweregradverteilungsdiagramm

Ein horizontales gestapeltes Balkendiagramm bricht Vorfälle nach Schweregrad auf. Jeder Balken zeigt die Ergebnisproportionen an. Wählen Sie eine Leiste aus, um einen Drilldown zu Vorfällen in diesem Schweregrad zu erstellen.

Leistung des Antwortplans

Unterhalb der Diagramme zeigt ein Leistungsraster für Reaktionsplan Metriken pro Plan mit sieben sortierbaren Spalten an.

Wählen Sie eine beliebige Zeile aus, um das gesamte Dashboard zu filtern. Alle KPI-Karten, Diagramme und die Treemap werden so aktualisiert, dass nur Daten für diesen Antwortplan angezeigt werden. Oben wird ein Zurück-Pfeil angezeigt. Wählen Sie sie aus, um zur Übersicht zurückzukehren.

In diesem Raster treffen Sie Entscheidungen. Sie können auf einen Blick sehen, welche Pläne im autonomen Modus ausgeführt werden und Vorfälle ohne menschliche Beteiligung im Vergleich zu Plänen im Überprüfungsmodus lösen, die noch eine Genehmigung erfordern. Wenn ein Plan konsistent eine niedrige Erfolgsquote anzeigt, passen Sie die Anweisungen des Antwortplans an, oder erhöhen Sie die Autonomiestufe.

Intent Met Score

Die Bewertung "Intent Met " misst, wie effektiv Ihr Agent die Arbeit löst, unabhängig davon, ob es sich um eine Vorfalluntersuchung oder eine geplante Aufgabenausführung handelt. Nach Abschluss jedes Threads bewertet eine automatisierte Auswertung das Ergebnis auf einer Skala von 1 bis 5:

Die KPI-Karte "Qualitätsbewertung " im Dashboard zeigt die durchschnittliche Bewertung "Intent Met" als X /5 mit einer Sternbewertungsvisualisierung an. Die gleiche Sternbewertung wird in der Spalte "Qualität" des Antwortplanrasters angezeigt, sodass die Qualität einfach über Pläne hinweg verglichen werden kann.

Die Bewertung kombiniert Ergebnisse aus Vorfallthreads und geplanten Aufgabenthreads in einer einzigen einheitlichen Metrik. Sie messen die Effektivität Ihres Agenten bei der proaktiven Automatisierung, wie z. B. geplante Zustandsüberprüfungen, Compliance-Scans und Kostenüberwachung, neben der reaktiven Reaktion auf Vorfälle.

Die Bewertung von Intent Met erfolgt vollständig automatisch. Es ist keine Konfiguration erforderlich, da jeder abgeschlossene Vorfall- und geplanter Aufgabenthread mit denselben Bewertungskriterien ausgewertet wird. Geplante Aufgaben, die noch auf eine Benutzeraktion warten, erhalten eine Bewertung von 3, die ihr unbestimmtes Ergebnis widerspiegelt.

Vor und nachher

In der folgenden Tabelle werden Workflows zur Überwachung von Vorfällen vor und nach der Verwendung der Vorfallwertnachverfolgung verglichen.

Vorfallübersicht

Um jeden Vorfall in Echtzeit anzuzeigen, den Ihr Agent verarbeitet, wechseln Sie in der linken Randleiste zu Vorfällen .

Auf der Seite werden Zusammenfassungskarten für den Vorfallstatus (Ausgelöst, Bestätigt) und den Agenten-Untersuchungsstatus (Ausstehende Benutzereingabe, In Bearbeitung, Abgeschlossen) sowie ein filterbares Gitter aller Vorfälle angezeigt. Filtern Sie nach Zeitbereich, Priorität, Status, Untersuchungsstatus oder nach bestimmten Vorfällen.

Jede Zeile verweist auf den Untersuchungsthread des Agents, sodass Sie genau überprüfen können, was der Agent getan hat, einschließlich der tools, die er aufgerufen hat, welche Beweise gefunden wurden und was es empfohlen hat.

Tägliche Berichte

Ihr Agent generiert automatisierte tägliche Berichte, die im linken Seitenbereich unter Tägliche Berichte zugänglich sind.

Wählen Sie ein Datum aus, um den Bericht dieses Tages anzuzeigen. Jeder Bericht umfasst:

• Sicherheitsergebnisse: CVE-Sicherheitsrisiken in verbundenen Repositorys, gruppiert nach Schweregrad.
• Vorfälle: Aktive, gemilderte und abgeschlossene Fälle mit Details zur jeweiligen Vorfalluntersuchung.
• Gesundheit und Leistung: Gesundheitsstatus pro Ressource mit Verfügbarkeit, CPU und Arbeitsspeichermetriken.
• Codeoptimierungen: Vom Agent identifizierte Leistungsempfehlungen.
• Empfohlene Aktionen: Priorisierte Aktionselemente mit Beschreibungen und geschätzter Leistung.

Tägliche Berichte ersetzen die "Was ist über Nacht passiert?" Morgenroutine. Anstatt Ihren Agenten zu fragen oder Dashboards abzufragen, sind die Informationen bereits zusammengefasst und stehen zur Verfügung.

Dashboards für Vorfallmetriken sind nicht neu. Die meisten Beobachtbarkeits-Plattformen verfügen darüber. Der Unterschied besteht hier darin, dass Sie den Beitrag des Agenten messen, nicht nur das Vorfallvolumen, und jede Metrik ist interaktiv.

Der interaktive Drilldown schließt die Schleife zwischen aggregierten Metriken und einzelnen Vorfällen. Wenn eine Erfolgsquote von 80% angezeigt wird, können Sie sofort die verbleibenden 20% auswählen, um zu sehen, welche Vorfälle fehlgeschlagen sind, welche Ursachen sie verursacht haben und was der Agent versucht hat.

Die Filterung pro Reaktionsplan beantwortet eine Frage, die kein allgemeines Dashboard kann: "Welche meiner KI-Automatisierungsstrategien funktionieren tatsächlich?" Wählen Sie eine Planzeile und die gesamten Dashboardfilter für diesen Plan aus. KPI-Karten, Volumediagramm, Baumkarte und Schweregraddiagramm werden aktualisiert.

Die Treemap-Ursachenanalyseansicht macht proportionale Effekte sofort sichtbar. Anstatt eine flache Liste zu lesen, in der Kategorien gleichermaßen wichtig aussehen, zeigen Ihnen die Kachelgrößen des Treemaps auf einen Blick, welche Ursache für die Mehrzahl der Vorfälle verantwortlich ist.

Der Intent Met Score fügt eine Qualitätsdimension mit visuellen Sternbewertungen hinzu. Anstatt nur Vorfälle zu zählen, die behoben wurden, wird ausgewertet, wie gut jeder Thread aufgelöst wurde. Ein Plan mit großem Volumen, aber geringer Sternebewertung, erfordert eine andere Art der Aufmerksamkeit als ein Plan mit geringem Volumen, aber hoher Qualität.

Erste Schritte

Die Vorfallnachverfolgung ist integriert. Öffnen Sie die Registerkarte " Vorfälle " im Agentportal, um Scorecards und tägliche Berichte anzuzeigen, sobald Ihr Agent mit der Behandlung von Vorfällen beginnt.

Verwandte Inhalte