Condividi tramite

Riferimento rapido per la valutazione e la correzione

Usare questo riferimento rapido durante le sessioni di valutazione attive. È indipendente, quindi non è necessario seguire il framework completo.

Determinare se i punteggi sono accettabili

Per determinare se l'agente è pronto per la distribuzione o se è necessario indagare i guasti, occorre confrontare i punteggi di valutazione rispetto alle soglie.

Categoria Soglia Decisione Passo successivo
Sicurezza e conformità < 95% Blocco Valutazione degli errori di sicurezza
attività principale < 80% Iterare Eseguire il triage del set di valutazione con punteggio più basso
Capacità Al di sotto della soglia Distribuzione condizionale Documenta le lacune, e poi classifica ognuna di esse
Tutti i punteggi Al di sopra della soglia Distribuisci -

Altre informazioni sul triage.

Valutare ogni errore

Per ogni test case con esito negativo, porre le domande seguenti nell'ordine seguente:

Domanda Risposta Action
La risposta dell'agente è accettabile? Sì Correggere la valutazione.
La risposta prevista è ancora corretta? No Correggere la valutazione.
È possibile identificare una configurazione specifica da modificare? Sì Correggi l'agente.
La correzione persiste dopo la modifica della configurazione? No Limite della piattaforma.

Cercare i modelli e intervenire

Dopo il triage, cercare gli schemi tra gli errori per identificare le azioni da eseguire.

Modello Diagnosi Action
80% o più stessa causa principale Problema sistemico Correggere la categoria.
Punteggi stabili dopo la correzione Causa principale errata Rivalutazione.
Un punteggio in su, un altro giù Conflitto di istruzioni Esaminare e risolvere le istruzioni in conflitto.
È possibile identificare una configurazione specifica da modificare? Sì Correggere l'agente.
La correzione persiste dopo la modifica della configurazione? No Limite della piattaforma.
  • Last updated on