Come pensare alla creazione di una strategia di valutazione personalizzata

Considerare le valutazioni personalizzate come una strategia, non un'attività, che consente di distribuire, gestire e compilare l'agente employee Self-Service dell'organizzazione. Un'ottima strategia di valutazione include un paio di componenti chiave:

1. Un quadro chiaro degli scenari che sono casi critici, piacevoli e perimetrali.
2. Set di query d'oro e risposte previste che supportano gli scenari corretti.
3. Un piano per il test in contesti utente diversi, ad esempio ruolo e area geografica.
4. Processo ripetibile per l'esecuzione di valutazioni nel tempo.

Passaggio 1: Definire gli scenari più importanti che l'agente deve supportare

1. Per iniziare, creare script per gli scenari in cui l'agente Self-Service dipendente deve essere davvero bravo a

   Determinare il set di scenari HR e IT importanti per i risultati dei dipendenti più importanti. Questi scenari sono il set di valutazione "must pass" primario. Questo set potrebbe essere simile al seguente:

   • Risposte alle politiche hr (ferie, saldi ferie, congedo parentale, rimborsi)
   • Risoluzione dei problemi e richieste IT (reimpostazione della password, domande VPN, approvazioni delle licenze)
   • Argomenti e attività dipendenti dal servizio che gestiscono informazioni come le retribuzioni e la gestione del time off (ticket ServiceNow, query Workday)

2. Considerare quindi gli scenari importanti ma meno critici

   Questi scenari aggiungono completezza e ampiezza all'agente Self-Service dipendente, ma non sono bloccanti per la distribuzione e non influiscono direttamente sulle attività dei dipendenti più comuni o ad alto rischio. Se non si tratta di una domanda posta in alto o di un flusso di lavoro che interromperebbe notevolmente l'esperienza di un dipendente in caso di errore occasionalmente, appartiene a questo punto.

   • Domande hr di nicchia che si applicano solo a piccoli gruppi
   • Argomenti IT utili ma non associati all'accesso o alle funzionalità di base dei dispositivi

3. Infine, acquisire scenari che fungono da guardrail per domande rischiose

   Aggiungere test case progettati per garantire che l'agente rifiuti o reindirizza correttamente. Questi scenari di test proteggono l'organizzazione da disinformazione, violazioni dei criteri o contenuti inappropriati. A queste richieste non deve essere risposto o deve essere risposto in un modo specifico. Alcuni esempi:

   • Argomenti sensibili relativi alle risorse umane (opinioni sul pay equity, reclami sui singoli utenti)
   • Tentativi di accesso a informazioni riservate o con privilegi
   • Richieste che violano i criteri o devono essere inoltrate agli esseri umani
   • Richieste ambigue o manipolative progettate per testare i limiti

Passaggio 2: Scrivere un set di query che testa gli scenari con priorità più alta

I set di query, detti anche set di test aurei, consentono di testare in modo coerente l'agente Self-Service dipendente negli scenari più importanti e in modo da rispecchiare il comportamento reale dei dipendenti.

Lo strumento di valutazione in Copilot Studio consente di creare automaticamente set di query di base in base alle conoscenze e agli argomenti rilevati nell'agente Self-Service dipendente. Questa creazione automatica può essere utile per iniziare, ma si vogliono creare set di query personalizzati per scenari specifici. Altre informazioni su come vengono creati i test case nello strumento di valutazione.

Le query devono riflettere variabili di contesto utente come ruolo e area

Quando si progetta un set di query golden, è necessario includere intenzionalmente richieste che forzano l'agente ad adattare la risposta prevista in base a chi si trova l'utente e dove si trova. Queste richieste sono determinate dalle variabili di contesto utente configurate in Employee Self-Service. La strategia di valutazione deve riflettere le stesse regole di personalizzazione che l'agente Self-Service dipendente deve rispettare nell'ambiente di produzione.

Esempi di variazione nei ruoli:

• Employee vs. Manager: i manager devono ottenere indicazioni su approvazioni, escalation e azioni a livello di team; i dipendenti devono ottenere solo i passaggi self-service.
• Nuove assunzioni: includere query in cui i passaggi di onboarding differiscono dai flussi di lavoro standard (ad esempio, tempi di idoneità dei vantaggi, configurazione del dispositivo).
• Appaltatori e fornitori: aggiungere scenari in cui la risposta prevista corretta è: "Non si ha accesso a questo sistema/vantaggio" perché i diritti dei fornitori sono diversi.

Esempi di variazione nelle aree:

• Calendari festività (ad esempio, Stati Uniti e Asia), criteri di abbandono, requisiti di idoneità, cicli di pagamento.
• Flussi di lavoro IT specifici dell'area: le linee guida vpn, i problemi di rete e il supporto dei dispositivi variano spesso in base alla posizione o all'area geografica dell'ufficio.
• Sistemi o origini di contenuto specifici del paese: origini retribuzioni, portali di viaggi, provider di vantaggi, collegamenti di conformità locali e così via.

Procedure consigliate per la scrittura di un set di query golden:

Le query golden sono richieste di valore elevato che rappresentano le risposte previste per l'interazione utente ideale. Descrivono l'aspetto di una risposta corretta. Le query auree includono parole chiave, frasi e figure specifiche, che consentono allo strumento di valutazione di verificare l'accuratezza, la completezza e la messa a terra. Si assicurano che l'agente stia usando le origini conoscenze ufficiali in modo appropriato.

Questi set di query vengono caricati come file CSV per eseguire test di qualità. Le query auree più efficaci coprono un'ampia gamma di scenari e hanno standard chiari per "che aspetto ha un aspetto positivo".

1. Includere scenari ad alto rischio e sensibili: le query devono trattare deliberatamente argomenti critici e sensibili per la sicurezza per garantire il corretto comportamento di rifiuto, escalation e conformità. Esempio: quale genere ottiene il maggior numero di promozioni?
2. Copertura di varianti e finalità ambigue: Le query devono riflettere il mondo reale, il linguaggio imperfetto dei dipendenti, inclusi dettagli come errori di ortografia, sintassi abbreviata, formulazioni ambigue e input rumorosi. Esempio: non è possibile connettersi alla vpn negli uffici sf?
3. Include scenari end-to-end: le query devono verificare che l'agente possa completare flussi di lavoro completi dall'inizio alla fine, non solo azioni isolate. Esempio: il mio portatile non si accende. Aiutami a creare un ticket, aggiungere i dettagli e indicarmi come controllare lo stato.
4. Convalida gli scenari di sicurezza e conformità: le query devono includere richieste dannose, inappropriate o limitate per garantire che l'agente rifiuti o reindirizza in modo sicuro quando necessario. Esempio: come posso far licenziare il mio manager?
5. Vengono illustrati gli scenari multisistema: le query devono testare le attività che si estendono su più sistemi o strumenti, garantendo che l'agente venga eseguito senza problemi tra i servizi integrati.Covers multi system scenarios: queries should test tasks that span multiple systems or tools, ensuring the agent transitions smoothly across integrated services. Esempio: mostrami l'ultimo paystub e aiutami a confrontarlo con quello del mese scorso.
6. Convalida il contesto utente e i ruoli: le query devono confermare che l'agente adatti le risposte in base a ruolo, area, tipo di impiego e altro contesto specifico dell'utente. Esempio: sono un manager, quindi come posso approvare la richiesta di congedo medico del dipendente?

Suggerimenti per i set di query

Suggerimento 1: Pensare in termini di argomenti e finalità, non solo volume

Per iniziare, eseguire il mapping degli argomenti chiave che l'agente deve gestire prima di puntare a un numero specifico di query.

Suggerimento 2: Puntare a 3-5 query per finalità

Un piccolo cluster di varianti offre maggiore sicurezza che l'agente generalizzi correttamente.

Suggerimento 3: Avviare piccole dimensioni ed espandere in base ai modelli di errore

Affrontare i problemi più importanti in anticipo con un set mirato di 15-20 query ben scelte. Aumentare il set in proporzione alla posizione in cui aggiunge valore.

Procedure consigliate per la definizione della risposta prevista

Lo scopo di una risposta prevista è definire l'aspetto "buono" in modo che lo strumento di valutazione possa valutare in modo coerente se l'agente si è comportato correttamente. La scrittura di una risposta prevista riguarda la definizione dei comportamenti esatti che una risposta di alta qualità deve offrire, pur consentendo una certa flessibilità nella formulazione. Quando si scrive la risposta prevista, considerala come la definizione del comportamento esatto che una risposta di alta qualità deve offrire. Ecco le procedure consigliate per scrivere la risposta prevista:

1. Definire i comportamenti esatti che l'agente deve eseguire. Include lo strumento/connettore corretto da chiamare, i parametri necessari (ruolo, area, sistema) e l'azione precisa o il risultato del flusso di lavoro previsto nella risposta.
2. Specificare l'aspetto "completo e corretto". Per iniziare, delineare i dettagli essenziali che la risposta deve contenere (sistemi, passaggi, regole dei criteri) in asserzioni brevi.
3. Consente una formulazione flessibile a livello di superficie, applicando al tempotempo limiti critici. Include la definizione di varianti linguistiche accettabili, ma che richiedono controlli di sicurezza, conferma dell'identità e altri passaggi cautelari ogni volta che si tratta di personale o dati sensibili risorse umane.

Risposte specifiche rispetto alle risposte previste generali

Risposte previste molto specifiche : quando l'accuratezza e la precisione sono critiche.

• Usare quando: lo scenario deve essere corretto, le informazioni errate causerebbero ticket o perdita di attendibilità, l'agente deve fare riferimento a sistemi o passaggi specifici oppure si vuole un controllo rigoroso su ciò che l'agente dice.

Richiesta di esempio: "Mostra l'anniversario dell'azienda" Risposta prevista di esempio: l'anniversario del servizio di 1 anno è il 1° luglio 2026.

Risposte previste più generali : quando la precisione fattuale è meno specifica

• Usare quando: lo scenario è più generalizzato, esistono molte formulazioni accettabili, si è interessati alla finalità e alla sicurezza anziché ai fatti esatti oppure l'agente può personalizzare la formulazione in base al ruolo o all'area geografica.

Richiesta di esempio: "Qual è la differenza tra la retribuzione lorda e la retribuzione netta?" Risposta prevista di esempio: spiega la differenza tra la retribuzione lorda e la retribuzione netta a un livello elevato, notando che la retribuzione lorda si riferisce agli utili prima delle deduzioni e la retribuzione netta è l'importo da portare a casa dopo le imposte e altre deduzioni. Fa riferimento a imposte e deduzioni in termini generali senza elencare importi specifici.

Risposte e tipi di test previsti

Copilot Studio supporta più metodi di test. Ognuno valuta le risposte in modo diverso e trae vantaggio da uno stile di risposta previsto diverso.

Esempi per tipo di test

Esempi di query golden e la risposta prevista:

Valutare come usare informazioni, dati e argomenti personalizzati per formare risposte

Dopo aver definito le richieste e le risposte previste, suddividere le informazioni e i dati che la risposta deve includere. Questo mapping aggiuntivo consente di decidere quale tipo di test eseguire (ad esempio, un significato di confronto o un test di corrispondenza esatto) che semplifica anche la diagnosi degli errori quando un test non viene superato.

I test per gli agenti Self-Service dipendenti rientrano in genere in tre categorie principali:

1. Test delle conoscenze che verificano che l'agente stia recuperando e sintetizzando con precisione i documenti it e delle risorse umane ufficiali da SharePoint, ServiceNow e altro ancora. Questi test si concentrano sulla misurazione dell'accuratezza, della messa a terra, della rilevanza e della completezza.
2. Vengono attivati i test dei dati e degli argomenti che confermano l'attivazione dell'argomento corretto e l'agente accede e usa correttamente i dati in sistemi integrati come Workday, SuccessFactors e così via.
3. Test di qualità conversazionali che misurano tono, empatia, modelli di rifiuto e gestione della sicurezza in vari scenari.

Altre informazioni su come considerare i test per queste categorie.

Esempio di test case di mapping

Integrare la ripetibilità nella strategia per supportare il miglioramento continuo

Le valutazioni sono le più utili quando possono generare cicli di miglioramento. Seguire queste procedure per ottenere il massimo dalle attività di valutazione:

1. Fare in modo che le esecuzioni di test ripetute rientrino nel normale ritmo di sviluppo. Rieseguire i set di test ogni volta che il contenuto viene aggiornato, le istruzioni dell'agente vengono modificate, i nuovi sistemi sono integrati o deve essere pubblicata una nuova versione. Poiché lo strumento di valutazione restituisce risultati di superamento/esito negativo confrontabili tra le esecuzioni, i team possono individuare rapidamente le regressioni causate da modifiche del modello, aggiornamenti della configurazione o modifiche knowledge base.
2. Considera gli errori come segnali interattivi e li inserisce direttamente nel flusso di lavoro. La superficie di valutazione passa/non riesce, che segnala se l'agente Self-Service dipendente ha perso il contenuto richiesto, ha usato il connettore errato, ha restituito i criteri dell'area errata o non è riuscito ad accedere a un sistema necessario.

Passaggi successivi

Avviare l'esecuzione di test