Informazioni sullo strumento di valutazione Copilot Studio

Copilot Studio le valutazioni sono costituite da set di test, che contengono test case. Un test case è un singolo messaggio, prompt o domanda che simula ciò che un utente potrebbe porre Employee Self-Service. Un test case può includere anche la risposta con cui si prevede che l'agente risponda, detta anche risposta prevista. Altre informazioni sulla creazione di test case e indicazioni su come creare la strategia di valutazione in fasi.

Riepilogo delle opzioni di valutazione in Copilot Studio

Per convalidare e migliorare la qualità dell'agente al giusto livello di profondità, Copilot Studio offre oggi diverse opzioni di valutazione. Il contenuto di questo articolo è incentrato sull'esecuzione di valutazioni in queryset personalizzati.

1. Generare rapidamente richieste per i controlli di qualità generali. Usare i prompt generati dall'intelligenza artificiale quando si vuole un controllo rapido e leggero del comportamento dell'agente in base alle conoscenze e agli argomenti configurati in Employee Self-Service. Questa opzione è ideale per l'esplorazione anticipata, il controllo a campione delle nuove funzionalità o la convalida di una piccola modifica prima di eseguire test più approfonditi. Queste richieste consentono di identificare i problemi a livello di superficie senza la necessità di un set di test completo.
2. Usare la funzione "Evaluate" nel riquadro Test per una convalida più approfondita a livello di scenario. Dal riquadro Test copilot è possibile eseguire una valutazione direttamente nella conversazione che si sta testando.
3. Salvare una conversazione live come snapshot di valutazione. Trasformare un'interazione di chat di test reale in un artefatto di valutazione riutilizzabile. Il salvataggio di uno snapshot acquisisce i dettagli di diagnostica e conversazione completi, consentendo di analizzare gli errori e convertire tale interazione in un test case futuro che è possibile eseguire di nuovo come parte del set di regressione.
4. Eseguire evals nei propri set di query personalizzati. Usare le valutazioni dell'agente personalizzato caricando un csv. File quando è necessario un metodo ripetibile, scalabile e sicuro per la regressione per la misurazione della qualità. I set di test personalizzati consentono di definire le risposte previste, applicare più classificatori, simulare profili utente e confrontare i risultati tra le versioni nel tempo. La maggior parte delle indicazioni contenute in questo documento è incentrata su questo tipo di valutazione.

Passaggi per creare ed eseguire test

Seguire questa procedura per compilare e valutare un set di test per l'agente Self-Service dipendente in Copilot Studio:

1. Passare alla scheda Valutazione per l'agente Self-Service dipendente in Copilot Studio.
2. Selezionare Crea nuovo set di test per iniziare.
3. Scegliere se generare richieste automaticamente o importare un file CSV. È possibile aggiornare i dettagli del set di test in qualsiasi momento.
4. Selezionare i metodi di valutazione da usare.
5. Scegliere quali profili utentedevono eseguire i test in modo che i risultati riflettano accuratamente il contesto, i livelli di accesso e le autorizzazioni.

6. Eseguire il test, esaminare i risultati e confrontare i risultati nel tempo. È anche possibile esportare i risultati dei test da condividere con stakeholder e revisori.
7. In base alle informazioni apprese, è possibile decidere di aggiornare un'origine della conoscenza, un trigger di argomento, istruzioni dell'agente o altri componenti. Dopo ogni modifica, eseguire nuovamente la valutazione per confermare la correzione e assicurarsi che non si verifichino regressioni.

Come usare queste linee guida e questo toolkit

Per valutare e migliorare in modo sicuro la qualità dell'agente Self-Service dipendente, sono disponibili tre approcci per iniziare:

1. Usare set di test di esempio per vedere come funziona lo strumento. Questo set di dati completo può essere usato per le istanze di Employee Self-Service non ancora personalizzate, in modo da poter apprendere rapidamente come funziona lo strumento di valutazione e come strutturare la strategia di valutazione.
2. Usare set di dati modello per testare rapidamente le risposte dell'agente. Questi set di valutazione parzialmente strutturati possono essere adattati rapidamente in base a criteri, sistemi e flussi di lavoro personalizzati. Questi modelli sono il punto di partenza e possono essere modificati ed espansi in modo da riflettere i criteri, i servizi e i flussi di lavoro reali dell'organizzazione.
3. Ottenere indicazioni sulla creazione di una strategia di valutazione personalizzata. In questo documento sono disponibili strategie di base, informazioni dettagliate sulla ricerca sull'esperienza dei dipendenti e altri suggerimenti che consentono di creare set di dati personalizzati che possono essere testati e ridimensionati regolarmente man mano che l'agente assume nuovi scenari e funzionalità.

Riepilogo dei tipi di test di qualità di Employee Self-Service supportati dallo strumento di valutazione

I tipi di test seguenti possono essere eseguiti usando lo strumento di valutazione e sono già disponibili set di query golden iniziali che supportano questi tipi di test. I test elencati qui sono ideali per gli agenti Self-Service dipendenti perché testano parti diverse della piattaforma (conoscenze, argomenti, istruzioni e così via) e testano anche le competenze necessarie a ogni dipendente Self-Service agente.

Questi test rientrano in tre categorie principali:

Procedure consigliate per l'uso dei set di dati:

I set di query iniziali sono progettati per generare idee e semplificare la creazione rapida della propria libreria di valutazione. Queste query rappresentano funzionalità reali e tipi comuni di richieste, ma ogni organizzazione deve adattare le richieste ai propri sistemi, criteri e flussi di lavoro.

1. Organizzare le richieste in modo da allinearsi alla struttura dell'organizzazione. Raggruppare o dividere le query per sottodominio (ad esempio, le risorse umane sono costituite da vantaggi, abbandono, criteri e così via) e prendere in considerazione aree o aree di argomenti diverse, in modo che i risultati fluivano naturalmente ai revisori corretti.
2. Personalizzare le risposte previste usando le origini e le integrazioni delle conoscenze. Molte richieste richiedono passaggi specifici del sistema per ottenere risultati di valutazione più significativi, ad esempio URL, passaggi specifici o dettagli dei criteri. Sostituire le risposte previste generiche con i dati esatti dell'organizzazione.
3. Adattare le query per riflettere la popolazione dei dipendenti. Aggiungere varianti specifiche del ruolo e specifiche dell'area in modo che l'analizzatore possa verificare la logica di personalizzazione, ad esempio manager e collaboratori singoli, Stati Uniti e UE.
4. Aggiungere o rimuovere richieste in modo che corrispondano all'ambito employee Self-Service. Se la distribuzione non usa alcune integrazioni (ad esempio Workday o Microsoft Self-Help), rimuovere tali richieste. Se si dispone di sistemi personalizzati, aggiungere query rappresentative per tali sistemi.
5. Includere sia gli scenari di passaggio che gli scenari più interessanti. Mantenere flussi di lavoro critici (ad esempio, accesso VPN, congedo parentale, problemi del dispositivo) ma anche testare formulazioni informali, errori di ortografia, toni emotivi e richieste vaghe.
6. Usare i set per compilare la copertura di regressione. Dopo averli personalizzati, trasformarli in set di test stabili eseguiti dopo ogni aggiornamento a argomenti, istruzioni, origini conoscenze o integrazioni.
7. Perfezionare continuamente in base a apprendimento, aggiornamenti e errori. Quando un test ha esito negativo, decidere se correggere l'agente, rivedere la risposta prevista o suddividere lo scenario in varianti più precise.

Test delle conoscenze

Test delle conoscenze specifici

I test delle conoscenze specifici verificano se l'agente può rispondere alle domande più comuni, basate su conoscenze/criteri poste dai dipendenti. Queste richieste hanno una risposta corretta in base alle knowledge base, ai sistemi dati e ai flussi di lavoro dell'organizzazione. Usare questi test per convalidare l'accuratezza, la completezza e la messa a terra, in particolare per gli argomenti che influiscono direttamente sul carico di attendibilità, adozione e supporto.

Esempi:

Introduzione:

1. Per testare il modo in cui l'agente usa le conoscenze, usare la qualità generale e confrontare il significato con una velocità di superamento del 70%. La somiglianza del testo può essere aggiunta per comprendere meglio il modo in cui parole chiave e frasi vengono confrontate tra le risposte previste ed effettive.
2. Se l'agente non ha ancora alcuna conoscenza, usare il set di test iniziale e caricare le conoscenze corrispondenti.
3. Se l'agente ha già aggiunto alcune conoscenze, usare il set di test basato su modelli e compilare le risposte previste.

Per risolvere i problemi di qualità per specifici test di conoscenza:

1. La maggior parte dei problemi di accuratezza deriva dall'agente che non ha contenuto pulito, completo o interpretabile dall'origine conoscenze. Controllare il risultato del test per verificare che sia stata usata la conoscenza corretta. Controllare quindi la qualità dei documenti di origine per verificare che il contenuto obsoleto, vago o in conflitto riduca l'accuratezza.
2. Valutare la possibilità di aggiungere o perfezionare le istruzioni dell'origine conoscenze. Fornire a ogni origine conoscenze istruzioni chiare, ad esempio: "Usare questo documento come origine autorevole per le regole di time off a pagamento basate su New York". Se si usa SharePoint come conoscenza, è possibile applicare filtri aggiuntivi che consentono ai contenuti più rilevanti di accedere agli utenti giusti.
3. Le istruzioni dell'agente possono anche essere modificate per modificare i comportamenti nell'uso delle conoscenze. Rafforzare le linee guida globali dell'agente sull'uso solo di origini conoscenze approvate, quando citare e quando riepilogare e regole di escalation o personalizzazione basata su ruoli.
4. Esaminare le procedure consigliate per ottimizzare le conoscenze in SharePoint.

Test generali delle conoscenze

Questi scenari convalidano la competenza di base dell'agente in aree di argomenti generali e confermano che può fornire indicazioni utili e coerenti da origini di conoscenze generali sul Web. Questo test consente anche di comprendere rapidamente il funzionamento dello strumento di valutazione senza dover aggiungere informazioni.

Esempi:

Introduzione:

1. Assicurarsi che la conoscenza generale sia attivata e che non siano state aggiunte informazioni sull'agente personalizzato. Attivare Usa informazioni generali passando a Impostazioni>Knowledge>Use general knowledge e impostare l'interruttore su Attivato.
2. Usare il set di test iniziale per eseguire un test rapido in vari scenari.
3. Per un test più specifico con risposte previste più rigide, usare il set di test basato su modelli e definire la risposta prevista ideale.
4. Per testare il modo in cui l'agente usa le conoscenze generali, usare la qualità generale e confrontare il significato con una velocità di superamento del 70%.

Per risolvere i problemi di qualità per i test di conoscenza generali:

1. Se a determinate richieste viene risposto usando conoscenze generali, ma è necessario rispondere usando le conoscenze dell'organizzazione, aggiungere le origini conoscenze che coprono queste aree nelle conoscenze dell'agente.
2. Se si decide di non volere che l'agente usi affatto le conoscenze generali, ripristinare l'impostazione su Disattivato.

Test di dati e argomenti

Test di SuccessFactors e Workday

Questi test misurano se l'agente può recuperare e interagire correttamente con i dati da connettori diversi configurati, ad esempio SuccessFactors e Workday. Usare questi test per controllare sistematicamente i diversi argomenti e azioni abilitati per l'agente.

Esempi:

Introduzione:

1. Gli argomenti per queste integrazioni devono essere abilitati prima del test.
2. Usare il set di test iniziale per eseguire un test di qualità generale con una risposta prevista generica per avere un'idea della risposta degli argomenti.
3. Usare il set di test basato su modelli se sono già presenti dati specifici che devono essere aggiunti alle risposte previste prescritte. Usare un test di qualità generale, un test del significato di confronto al 70% e un test di utilizzo delle funzionalità.

Per risolvere i problemi di qualità per i test dei dati:

Per risolvere i problemi relativi all'argomento dei dati, seguire le indicazioni per Prerequisiti per distribuire l'agente Self-Service dipendente per iniziare:

1. Correggere le autorizzazioni di autenticazione &: Verificare oauth e certificati e assicurarsi che l'utente del servizio richieda autorizzazioni di lettura/scrittura.
2. Mapping dei campi corretti: Aggiornare i mapping dei campi OData o Workday quando gli attributi sono mancanti, rinominati o non corrispondenti.
3. Risolvere i blocchi di connettività: Controllare proxy, firewall e configurazione dell'endpoint se il connettore non riesce a raggiungere Workday o SuccessFactors.
4. Limitazione o ritardi degli indirizzi: Ridurre la frequenza delle chiamate API o implementare la logica di ripetizione dei tentativi quando si raggiungono i limiti di frequenza.
5. Risolvere i problemi relativi al contesto utente: Assicurarsi che il contesto dipendente/manager venga caricato correttamente e che Workday "Get User Context" non abbia esito negativo.
6. Aggiornare la logica dopo le modifiche HRIS: testare di nuovo gli argomenti dopo lo schema Workday/SF o gli aggiornamenti di sistema per intercettare i campi appena interrotti.
7. Convalidare il comportamento scheda adattiva: aggiornare le regole di data, lasciare i tipi e la logica di convalida per gli scenari di time off di Workday.
8. Impedisci fallback/allucinazione: Rafforzare le istruzioni dell'argomento in modo che le risposte si basino sui dati workday/SF anziché sul contenuto di fallback generale.

Test degli argomenti sensibili

Per impostazione predefinita, il modello Agente Self-Service risorse umane include un'opzione Argomenti sensibili che consente di gestire scenari che potrebbero essere appropriati per rispondere, ma che devono essere gestiti con attenzione. Lo scopo dell'argomento sensibile è rispondere a determinati tipi di domande con una risposta specifica o reindirizzare determinate conversazioni a un percorso di escalation o a un'altra risorsa. Dopo l'attivazione, l'argomento può essere personalizzato in base alle esigenze specifiche dell'organizzazione.

Testare l'argomento Sensibile per assicurarsi che intercetti le parole e le frasi del trigger corrette e risponda in base ai criteri dell'organizzazione.

Esempi:

Introduzione:

1. Questo test è per il modello ESS HR. Per iniziare, passare ad Argomenti > sensibili e attivare l'interruttore.
2. Usare un test di qualità generale, un test di significato di confronto al 70% e un test di somiglianza del testo al 70%.
3. Usare il set di test iniziale per verificare rapidamente che l'argomento venga attivato per determinati scenari.
4. Se l'agente dispone già di alcune conoscenze o di percorsi di escalation definiti, iniziare a usare il set di test basato su modelli e definire quale dovrebbe essere la risposta prevista ideale.

Per risolvere i problemi di qualità per gli argomenti sensibili:

1. Prompt che hanno esito negativo questo test significa che la risposta effettiva non è simile al 70% rispetto alla risposta ideale.
2. Se alcuni argomenti non forniscono la risposta prevista, potrebbe significare che il trigger dell'argomento deve essere regolato. Gli argomenti vengono attivati quando le frasi del trigger corrispondono alla finalità dell'utente. Valutare la possibilità di apportare le modifiche seguenti:
   1. Aggiungere più varianti della formulazione usata comunemente dai dipendenti.
   2. Includere parole chiave, query brevi e varianti conversazionali.
   3. Rimuovere trigger vaghi che si sovrappongono ad altri argomenti.

Test di qualità conversazionali

Questi test si concentrano sulla qualità della conversazione. I test consentono di misurare l'efficacia delle istruzioni e degli argomenti dell'agente di test usati per gestire determinati comportamenti usando l'IA generativa. Le risposte si sentono quindi organiche e conversazionali.

Test di intelligenza emotiva

Alcune conversazioni richiedono che l'agente sia in grado di identificare il sentiment emotivo nelle richieste e quindi regolare il tono per rimanere conversazionale. I modelli di agente Self-Service dipendente includono un argomento denominato Seek Emotional Intelligence che può essere abilitato per garantire che l'agente Self-Service dipendente sia calibrato in base alle code e agli scenari emotivi appropriati per l'organizzazione.

Usare questo test per misurare i prompt con un sottotono emotivo che richiedono all'agente Self-Service dipendente di modificare il tono delle risposte per rimanere conversazionali.

Esempi:

Introduzione:

1. Impostare l'argomento Seek Emotional Intelligence su ON
2. Se l'argomento non viene modificato, usare il set di test iniziale per eseguire un test rapido e vedere come vengono gestiti determinati scenari.
3. Se sono state apportate modifiche, usare il set di test basato su modelli e decidere quale dovrebbe essere la risposta prevista. La risposta deve essere basata sui criteri dell'organizzazione e sugli argomenti esistenti che potrebbero inoltrare determinate conversazioni.
4. Usare un test di qualità generale, un test del significato di confronto al 70% e un test di utilizzo delle funzionalità.

Per risolvere i problemi di qualità per i test EQ:

Se alcuni argomenti non forniscono la risposta prevista, potrebbe significare che il trigger dell'argomento deve essere regolato. Gli argomenti vengono attivati quando le frasi del trigger corrispondono alla finalità dell'utente. Valutare la possibilità di apportare le modifiche seguenti:

1. Aggiungere più varianti della formulazione usata comunemente dai dipendenti.
2. Includere parole chiave, query brevi e varianti conversazionali.
3. Rimuovere trigger vaghi che si sovrappongono ad altri argomenti.

Test di richiesta ambigui

I test di richiesta ambigui verificano se l'agente riconosce richieste poco chiare e chiede le domande di follow-up corrette prima di agire. Questi scenari garantiscono che l'agente non indovina, allucina o eserciti azioni impreviste quando una richiesta potrebbe significare più cose. Una logica di chiarimento avanzata migliora sia l'accuratezza che l'attendibilità degli utenti. Il modello employee Self-Service agent include un argomento denominato Seek clarification che rileva richieste ambigue.

Esempi:

Introduzione:

1. Attivare l'argomento Seek Clarification (Cerca chiarimento) su ON
2. Se l'argomento non viene modificato, usare il set di test iniziale per eseguire un test rapido e vedere come vengono gestiti determinati scenari.
3. Se sono state apportate modifiche, usare il set di test basato su modelli e decidere quale deve essere la risposta prevista in base ai criteri dell'organizzazione e agli argomenti esistenti che potrebbero inoltrare determinate conversazioni.
4. Usare un test di qualità generale, un test del significato di confronto al 70% e un test di utilizzo delle funzionalità.

Per risolvere i problemi di qualità per i test di ambiguità:

Se alcuni argomenti non forniscono la risposta prevista, potrebbe significare che il trigger dell'argomento deve essere regolato. Gli argomenti vengono attivati quando le frasi del trigger corrispondono alla finalità dell'utente. Valutare la possibilità di apportare le modifiche seguenti:

1. Aggiungere più varianti della formulazione usata comunemente dai dipendenti.
2. Includere parole chiave, query brevi e varianti conversazionali.
3. Rimuovere trigger vaghi che si sovrappongono ad altri argomenti.

Test responsabili dell'intelligenza artificiale

Gli scenari di IA responsabile (RAI) sono richieste che non devono mai essere risolte o che devono essere inoltrate a seconda dei criteri dell'organizzazione. Gli agenti predefiniti Copilot Studio non forniscono automaticamente risposte a questi tipi di richieste. I clienti Self-Service dipendenti possono scegliere di creare argomenti per inoltrare determinati casi a risorse specifiche.

Esempi:

Introduzione:

1. Usare il set di test iniziale per eseguire un test rapido in scenari a cui non è necessario rispondere.
2. Se l'agente ha già alcune conoscenze o alcuni argomenti configurati, iniziare con il set di test basato su modelli e decidere quale dovrebbe essere la risposta prevista ideale.
3. Usare un test di qualità generale, un test di significato di confronto al 70% e un test di somiglianza del testo al 70%.

Per risolvere i problemi di qualità per i test RAI:

1. Per richieste che passano: non sono necessarie altre azioni a meno che l'organizzazione non decida di inoltrare una determinata conversazione a un altro canale.
2. Per richieste che hanno esito negativo: questo errore significa che questa richiesta specifica non viene rilevata automaticamente dal sistema di intelligenza artificiale responsabile in Copilot Studio o in altre informazioni o argomenti che potrebbero essere stati configurati.

Risorse

• Introduzione alle valutazioni degli agenti
• Informazioni su come creare una strategia di valutazione personalizzata
• Esplorare il modo in cui l'analisi e le valutazioni degli agenti interagiscono