Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Testare il comportamento dell'agente personalizzato in tempo reale prima di distribuire le modifiche. Modificare istruzioni, strumenti e handoff con un feedback istantaneo in un layout a schermo diviso. Valutare la qualità dell'agente con punteggio basato su intelligenza artificiale e correzioni rapide.
Problema
La compilazione di configurazioni effettive dell'agente è un processo iterativo. È possibile scrivere istruzioni, assegnare strumenti e configurare gli handoff. È possibile scoprire che l'agente non capisce correttamente la finalità o non dispone di uno strumento critico solo dopo la distribuzione. Ogni ciclo di modifica, distribuzione, test e correzione spreca tempo e rischia di interrompere i flussi di lavoro di produzione.
Senza un ambiente di test dedicato, si distribuiscono le modifiche per vedere come si comportano. Si esegue il test nelle conversazioni in tempo reale che influiscono sui thread reali. Si suppongo che le istruzioni siano sufficientemente chiare.
Funzionamento dell'area giochi
Il playground è una vista dedicata nel canvas dell'agente insieme alle viste Canvas e Tabella. Selezionare Test playground dal selettore della vista per accedere a un ambiente a schermo diviso in cui modificare e testare.
Selezionare gli elementi da testare
Usare l'elenco a discesa Agente personalizzato/Strumento nella parte superiore per scegliere cosa testare.
| Entità | Elementi che è possibile testare |
|---|---|
| Agente personalizzato | Istruzioni, strumenti, trasferimenti e memoria in una chat live |
| L'agente | Eseguire l'override del prompt dell'orchestratore e testare il comportamento di routing |
| Strumento di sistema | Eseguire strumenti predefiniti con parametri personalizzati |
| Strumento Kusto | Eseguire query sui cluster connessi |
Modificare e testare affiancati
Per gli agenti personalizzati, il playground si divide in due pannelli.
Editore:
- Vista modulo: modificare il nome dell'agente personalizzato, le istruzioni, le istruzioni di passaggio, gli agenti personalizzati di passaggio, gli strumenti e l'accesso alla knowledge base.
- Visualizzazione YAML: modificare la configurazione completa dell'agente come YAML.
Collaudo:
- Scheda Test: chattare con l'agente usando la configurazione corrente.
- Scheda Valutazione: eseguire l'analisi della qualità basata su intelligenza artificiale.
Annotazioni
Quando si modifica la configurazione, l'input della chat viene disabilitato fino a quando non si seleziona Applica per salvare le modifiche o Ignora per ripristinare. Questo comportamento impedisce il test delle configurazioni non aggiornate. Selezionando Applica viene avviato anche un nuovo thread di chat in modo da poter testare la configurazione aggiornata da zero.
Cosa rende questo approccio diverso
A differenza dei test nelle conversazioni in tempo reale, il playground fornisce un ambiente isolato in cui le modifiche non influiscono sui thread di produzione. Il layout dello schermo diviso significa che l'effetto delle modifiche alle istruzioni si vede immediatamente, senza dover cambiare visualizzazione o attendere distribuzioni.
La funzionalità di valutazione va oltre i test manuali. L'intelligenza artificiale analizza la configurazione dell'agente e il comportamento della chat per individuare i problemi che potrebbero verificarsi: istruzioni poco chiare, strumenti mancanti, gap di sicurezza e mancata allineamento delle finalità.
| Prima | Dopo |
|---|---|
| Distribuire le modifiche, quindi testare in live chat | Testare immediatamente in un ambiente isolato |
| Indovinare se le istruzioni sono chiare | Ottenere punteggi di chiarezza basati sull'intelligenza artificiale |
| Individuare gli strumenti mancanti durante gli eventi imprevisti | Individuare proattivamente le lacune degli strumenti |
| Passare tra più tab per modifiche e test | Usare una schermata divisa con editor e chat affiancati |
Valutare la qualità dell'agente
La scheda Valutazione fornisce il punteggio di qualità basato sull'intelligenza artificiale per la configurazione dell'agente. Selezionare Valuta per analizzare la configurazione corrente e il comportamento recente della chat.
La valutazione restituisce i punteggi seguenti:
| Punteggio | Cosa misura |
|---|---|
| Nel complesso | Punteggio di qualità combinato (0-100) |
| Corrispondenza dell'intento | Quanto il comportamento dell'agente sia allineato al suo obiettivo (1-5) |
| Completezza | Indica se il prompt copre il ruolo, l'obiettivo e le linee guida operative |
| Adattamento degli strumenti | Indica se gli strumenti corretti sono configurati |
| Chiarezza del prompt | Quanto siano chiare e utilizzabili le istruzioni |
| Attuabilità | Se le risposte includono passaggi successivi concreti e eseguibili |
| Safety | Gestione degli errori, richieste di conferma e misure di sicurezza |
Soluzioni rapide
Quando la valutazione identifica i miglioramenti, selezionare Rivedi e applica per aprire la finestra di dialogo correzioni rapide. Selezionare le correzioni desiderate, visualizzare in anteprima il diff YAML e quindi usare il pulsante Accetta correzioni selezionate . È possibile scegliere di continuare a modificare o salvare immediatamente.
Suggerimento
Eseguire la valutazione dopo alcune conversazioni di test. La valutazione considera il comportamento della chat insieme alla configurazione per fornire un punteggio più accurato.
Annotazioni
Se si modifica la configurazione dell'agente dopo l'esecuzione di una valutazione, i risultati vengono contrassegnati come obsoleti e viene richiesto di rivalutare. Analogamente, una nuova attività di chat dopo una valutazione contrassegna i risultati come obsoleti. Rivalutare per ottenere informazioni dettagliate che riflettono i test più recenti.
Strumenti di test in isolamento
È possibile testare gli strumenti di sistema e gli strumenti Kusto senza utilizzare l'agent playground.
Strumenti di sistema
Selezionare uno strumento di sistema dall'elenco a discesa Agente personalizzato/Strumento per testare in modo indipendente le funzionalità predefinite. Immettere i valori dei parametri e selezionare Execute Tool (Esegui strumento ) per visualizzare l'output JSON non elaborato.
Strumenti Kusto
Seleziona uno strumento Kusto per mettere alla prova la tua query nei cluster connessi. Il pannello test mostra i risultati della query con conteggi di righe, colonne e tempo di esecuzione. Modifica il tuo KQL e rieseguilo.
Per istruzioni dettagliate, vedere Testare uno strumento nel playground.
Configurazione assistita dall'intelligenza artificiale
Il playground include due funzionalità di assistenza IA per perfezionare le istruzioni dell'agente personalizzato:
- Perfezionare con l'intelligenza artificiale: riscrive le istruzioni e la descrizione della consegna sul posto. Questa funzionalità sostituisce direttamente il testo corrente con una versione migliorata dall'intelligenza artificiale, quindi esaminare le modifiche prima del salvataggio.
- Visualizzare i suggerimenti per l'intelligenza artificiale: apre un pannello di sola lettura insieme al modulo che mostra le raccomandazioni per l'intelligenza artificiale: suggerimenti per migliorare, avvisi sui potenziali problemi e versioni migliorate delle istruzioni e descrizione dell'handoff. Questa funzionalità non modifica la configurazione. Usarlo come riferimento durante la modifica.
Inizia subito
| risorsa | Cosa imparerai |
|---|---|
| Testare uno strumento nell'area di prova | Procedura dettagliata dell'interfaccia del playground |
Contenuti correlati
| risorsa | Descrizione |
|---|---|
| Agenti personalizzati | Come funzionano gli agenti personalizzati e quando usarli |
| Strumenti Kusto | Creare query KQL riutilizzabili per l'agente |
| Esecuzione del codice Python | Creare strumenti Python personalizzati |