Tenere traccia del valore dell'incidente nell'agente SRE di Azure

È stato distribuito un agente di intelligenza artificiale per gestire gli eventi imprevisti. La leadership vuole sapere: sta effettivamente riducendo la fatica? Quali eventi imprevisti sta risolvendo autonomamente? Stiamo ottenendo il ROI da questo investimento?

Oggi, rispondere a queste domande significa eseguire manualmente query sui dati di telemetria, fare riferimento incrociato ai ticket degli eventi imprevisti e indovinare quali piani di risposta sono efficaci. Non esiste una singola visualizzazione che mostra le operazioni eseguite dall'agente, il livello di prestazioni di ogni piano di risposta o il miglioramento dei tassi di mitigazione nel tempo.

Senza questi dati, non è possibile distinguere un piano di risposta che risolve 80% di eventi imprevisti in modo autonomo da uno che inoltra tutto agli esseri umani. Non è possibile mostrare al team che l'agente ha gestito 15 incidenti durante la notte mentre tutti dormivano. E non è possibile prendere decisioni informate su dove investire in un'automazione migliore.

Funzionamento del rilevamento dei valori degli eventi imprevisti

L'agente registra uno snapshot delle attività ogni volta che elabora un evento imprevisto. Questi snapshot catturano il risultato: se l'agente ha mitigato l'incidente in modo autonomo, ha assistito l'indagine o è stato scalato a un essere umano. Il dashboard delle metriche degli eventi imprevisti aggrega questi snapshot in quattro schede KPI interattive, un grafico dei volumi, una mappa ad albero della causa radice, un grafico di distribuzione della gravità e una griglia delle prestazioni per piano di risposta.

Passare a Monitorare>le metriche degli eventi imprevisti per visualizzare il dashboard.

Schede KPI (Indici Chiave di Prestazione)

Quattro schede nella parte superiore offrono un riepilogo a colpo d'occhio. Ogni scheda è selezionabile e apre un grafico di tendenza dettagliato.

La scheda Tasso di successo include una barra degli esiti in pila, una barra orizzontale sottile con quattro segmenti codificati a colori che mostrano immediatamente la distribuzione degli esiti degli incidenti.

La scheda Quality Score usa una valutazione a 5 stelle per rendere il punteggio Intent Met facilmente comprensibile. La stessa classificazione a stella viene visualizzata nella colonna Qualità della griglia del piano di risposta.

Drill-down interattivo

Ogni visualizzazione nel dashboard è cliccabile. Selezionare un segmento per aprire una finestra modale di analisi dettagliata che mostra gli incidenti corrispondenti.

Il modale di drill-down visualizza fino a 200 eventi imprevisti con colonne ordinabili: ID, Titolo, Gravità, Data di creazione, Assistito dall'agente e mitigato da. Usare la casella di ricerca per filtrare in base al titolo, all'ID, alla gravità o allo stato dell'evento imprevisto.

Selezionare un titolo dell'incidente per aprire il filo dell'indagine in una barra laterale. È possibile esaminare le operazioni che l'agente ha fatto senza uscire dalla pagina di analisi.

Mappa ad albero della causa radice

Le cause principali vengono visualizzate come riquadri dimensionati proporzionalmente. I riquadri grandi indicano più incidenti con quella causa principale. Ogni riquadro visualizza il nome della causa radice e il numero di eventi imprevisti. Selezionare qualsiasi riquadro per approfondire gli incidenti con quella causa principale.

Grafico del volume degli eventi imprevisti

Un grafico a barre in pila mostra il volume degli incidenti nel tempo, suddiviso in base al risultato: mitigato dall'agente, assistito dall'agente, mitigato dall'intervento umano e attivo/in sospeso. Alternare le visualizzazioni dell'area e del grafico a barre usando i pulsanti in alto a destra del grafico.

Selezionare un punto dati per approfondire gli incidenti di quel giorno. Selezionare un'etichetta di legenda per visualizzare tutti gli eventi imprevisti di quel tipo di risultato.

Grafico di distribuzione della gravità

Un grafico a barre in pila orizzontale suddivide gli eventi imprevisti in base al livello di gravità. Ogni barra mostra le proporzioni dei risultati. Selezionare una barra per approfondire gli incidenti con tale gravità.

Prestazioni del piano di risposta

Sotto i grafici, una griglia prestazioni piano di risposta mostra le metriche per piano con sette colonne ordinabili.

Selezionare qualsiasi riga per filtrare l'intero dashboard. Tutte le schede KPI, i grafici e la mappa ad albero vengono aggiornati per visualizzare i dati soltanto per quel piano di risposta. Viene visualizzata una freccia indietro nella parte superiore. Selezionarlo per tornare alla panoramica.

Questa griglia è la posizione in cui prendere decisioni. È possibile vedere a colpo d'occhio quali piani vengono eseguiti in modalità autonoma e risolvere gli eventi imprevisti senza coinvolgimento umano rispetto ai piani in modalità di revisione che richiedono ancora l'approvazione. Se un piano mostra in modo coerente una bassa percentuale di successo, modificare le istruzioni del piano di risposta o aumentare il livello di autonomia.

Punteggio Intento raggiunto

Il punteggio Intento raggiunto misura l'efficienza con cui l'agente svolge il lavoro, che si tratti dell'indagine su un incidente o dell'esecuzione di un'attività pianificata. Al termine di ogni thread, una valutazione automatizzata assegna un punteggio al risultato su una scala da 1 a 5:

La scheda KPI Punteggio qualità nel dashboard visualizza il punteggio Intento medio come X / 5 con una visualizzazione a stelle. La stessa classificazione a stella viene visualizzata nella colonna Qualità della griglia del piano di risposta, semplificando il confronto della qualità tra i piani.

Il punteggio combina i risultati di thread di eventi imprevisti e thread di attività pianificati in una singola metrica unificata. L'efficacia del tuo agente viene misurata nell'automazione proattiva, come i controlli di integrità pianificati, le analisi di conformità e il monitoraggio dei costi, insieme alla risposta reattiva agli incidenti.

L'assegnazione dei punteggi per il riconoscimento dell'intento è completamente automatica. Non è necessaria alcuna configurazione perché ogni evento imprevisto completato e thread di attività pianificato viene valutato usando gli stessi criteri di assegnazione dei punteggi. Le attività pianificate che sono ancora in attesa di un'azione dell'utente ricevono un punteggio pari a 3, riflettendo il risultato indeterminato.

Prima e dopo

Nella tabella seguente vengono confrontati i flussi di lavoro di rilevamento degli eventi imprevisti prima e dopo l'uso del rilevamento dei valori degli eventi imprevisti.

Panoramica degli eventi imprevisti

Per una visualizzazione in tempo reale di ogni evento imprevisto gestito dall'agente, passare a Eventi imprevisti nella barra laterale sinistra.

La pagina mostra le schede di riepilogo per lo stato degli incidenti (attivato, riconosciuto) e lo stato di indagine dell'agente (input dell'utente in attesa, In corso, Completato), oltre a una griglia filtrabile di tutti gli incidenti. Filtrare in base all'intervallo di tempo, alla priorità, allo stato, allo stato dell'indagine o alla ricerca di eventi imprevisti specifici.

Ogni riga è collegata al thread di indagine dell'agente, in modo da poter esaminare esattamente le operazioni dell'agente, inclusi gli strumenti chiamati, le prove trovate e le informazioni consigliate.

Report giornalieri

L'agente genera report giornalieri automatizzati accessibili nei report giornalieri nella barra laterale sinistra.

Selezionare una data per visualizzare il report di quel giorno. Ogni report riguarda:

• Risultati della sicurezza: CVE vulnerabilità nei repository connessi, raggruppati in base alla gravità.
• Eventi imprevisti: conteggi attivi, mitigati e risolti con dettagli di indagine per evento imprevisto.
• Integrità e prestazioni: stato di integrità per risorsa con metriche di disponibilità, CPU e memoria.
• Ottimizzazioni del codice: raccomandazioni sulle prestazioni identificate dall'agente.
• Azioni consigliate: elementi di azione con priorità con descrizioni e lavoro stimato.

I rapporti giornalieri sostituiscono la routine "cosa è successo durante la notte?". Invece di chiedere all'agente o interrogare i cruscotti, le informazioni sono già raccolte e in attesa.

I dashboard delle metriche degli eventi imprevisti non sono nuovi. La maggior parte delle piattaforme di osservabilità li ha. La differenza è che si misura il contributo dell'agente, non solo il volume degli eventi imprevisti e ogni metrica è interattiva.

Il drill-down interattivo chiude il ciclo tra metriche aggregate e incidenti individuali. Quando viene visualizzato un tasso di esito positivo di 80%, è possibile selezionare immediatamente i rimanenti 20% per verificare quali eventi imprevisti hanno avuto esito negativo, quali cause radice li hanno generati e cosa ha tentato l'agente.

Il filtraggio per piano di risposta risponde a una domanda a cui nessun dashboard a uso generico è in grado di rispondere: "Quale delle mie strategie di automazione dell'intelligenza artificiale funziona effettivamente?" Selezionare una riga del piano e l'intero dashboard viene filtrato per quel piano. Tutte le schede KPI, il grafico dei volumi, la mappa ad albero e il grafico di gravità si aggiornano.

La visualizzazione della causa radice della mappa ad albero rende immediatamente visibile l'impatto proporzionale. Invece di leggere un elenco semplice in cui le categorie hanno un aspetto altrettanto importante, le dimensioni dei riquadri della mappa ad albero mostrano a colpo d'occhio quale causa radice rappresenta la maggior parte degli eventi imprevisti.

Il punteggio Intent Met aggiunge una dimensione qualitativa con valutazioni tramite stelle visive. Anziché contare solo gli eventi imprevisti risolti, valuta il grado di risoluzione di ogni thread. Un piano con volume elevato ma stelle basse richiede attenzione diversa rispetto a un piano con volume basso ma alta qualità.

Inizia subito

Il rilevamento degli eventi imprevisti è integrato. Aprire la scheda Eventi imprevisti nel portale dell'agente per visualizzare scorecard e report giornalieri dopo che l'agente inizia a gestire gli eventi imprevisti.

Contenuti correlati