Vedere i risultati della valutazione nel portale di Microsoft Foundry (versione classica)

Visualizzazione attuale:Versione del portale Foundry (versione classica) - Passa alla versione per il nuovo portale Foundry

In questo articolo si apprenderà come:

• Individuare e aprire le esecuzioni di valutazione.
• Visualizzare le metriche aggregate e a livello di esempio.
• Confrontare i risultati tra diverse esecuzioni.
• Interpretare le categorie e i calcoli delle metriche.
• Risolvere i problemi relativi alle metriche mancanti o parziali.

Prerequisiti

• Esecuzione di valutazione.

  • Per informazioni su come eseguire valutazioni nel portale, vedere Valutare i modelli e le applicazioni di intelligenza artificiale generativi.
  • Per informazioni su come eseguire valutazioni dall'SDK, vedere Eseguire valutazioni nel cloud o Eseguire valutazioni in locale.

Visualizzare i risultati della valutazione

Dopo aver inviato una valutazione, trova l'esecuzione sulla pagina Valutazione. Filtrare o modificare le colonne per concentrarsi sulle esecuzioni di tuo interesse. Rivedere le metriche di alto livello con una rapida occhiata prima di approfondire.

Selezionare Altre informazioni sulle metriche per definizioni e formule.

Seleziona una sessione per aprire i dettagli (set di dati, tipo di attività, prompt, parametri) oltre alle metriche per campione. Il dashboard delle metriche visualizza la frequenza di passaggio o il punteggio di aggregazione per metrica.

Dashboard delle metriche

Nella sezione Dashboard metrica le visualizzazioni aggregate vengono suddivise in base alle metriche che includono la qualità dell'intelligenza artificiale (intelligenza artificiale assistita), i rischi e la sicurezza (anteprima), la qualità dell'intelligenza artificiale (NLP) e personalizzata (se applicabile). I risultati vengono misurati come percentuali di superamento/esito negativo in base ai criteri selezionati al momento della creazione della valutazione. Per informazioni più approfondite sulle definizioni delle metriche e sul modo in cui vengono calcolate, vedere Analizzatori predefiniti.

• Per le metriche di qualità dell'intelligenza artificiale (AI Assisted), i risultati vengono aggregati mediando tutti i punteggi per metrica. Se si usa Groundedness Pro, l'output è binario e il punteggio aggregato è il tasso di superamento: (#trues / #instances) × 100.
• Per le metriche rischio e sicurezza (anteprima), i risultati vengono aggregati in base alla percentuale di difetti.
  • Danno al contenuto: percentuale di istanze che superano la soglia di gravità (impostazione predefinita Medium).
  • Per il materiale protetto e l'attacco indiretto, il tasso di difetti viene calcolato come percentuale delle istanze in cui l'output è true, utilizzando la formula (Defect Rate = (#trues / #instances) × 100).
• Per le metriche di qualità dell'intelligenza artificiale (NLP), i risultati vengono aggregati in base alla media dei punteggi per metrica.

Tabella dei risultati delle metriche dettagliata

Usare la tabella sotto il dashboard per esaminare ogni esempio di dati. Ordinare in base a una metrica per visualizzare campioni con prestazioni peggiori e identificare lacune sistematiche (risultati non corretti, errori di sicurezza, latenza). Utilizzare la ricerca per raggruppare in cluster gli argomenti correlati ai guasti. Applicare la personalizzazione delle colonne per concentrarsi sulle metriche chiave.

Azioni tipiche:

• Filtrare i punteggi bassi per rilevare modelli ricorrenti.
• Regolare le richieste o ottimizzare quando vengono visualizzati gap sistemici.
• Esportazione per l'analisi offline.

Ecco alcuni esempi dei risultati delle metriche per lo scenario di risposta alle domande:

Alcune valutazioni hanno sottovalutatori, che consentono di visualizzare il codice JSON dei risultati delle sottovalutazioni. Per visualizzare i risultati, selezionare Visualizza in JSON.

Visualizzare il codice JSON nell'anteprima JSON:

Ecco alcuni esempi dei risultati delle metriche per lo scenario di conversazione. Per esaminare i risultati in una conversazione a più turni, selezionare Visualizza i risultati di valutazione a turno nella colonna Conversazione .

Quando si seleziona Visualizza risultati di valutazione a turno, viene visualizzata la schermata seguente:

Per una valutazione della sicurezza in uno scenario multi modale (testo e immagini), è possibile comprendere meglio il risultato della valutazione esaminando le immagini sia dall'input che dall'output nella tabella dei risultati delle metriche dettagliate. Poiché la valutazione multi modale è attualmente supportata solo per gli scenari di conversazione, è possibile selezionare Visualizza risultati di valutazione a turno per esaminare l'input e l'output per ogni turno.

Selezionare l'immagine da espandere e visualizzarla. Per impostazione predefinita, tutte le immagini sono sfocate per proteggerti da contenuti potenzialmente dannosi. Per visualizzare chiaramente l'immagine, attivare l'interruttore Controlla sfocatura immagine .

I risultati della valutazione possono avere significati diversi per gruppi di destinatari diversi. Ad esempio, le valutazioni di sicurezza potrebbero generare un'etichetta per gravità bassa del contenuto violento che potrebbe non essere allineato alla definizione di un revisore umano del livello di gravità di tale contenuto violento specifico. Il punteggio minimo per superare l'esame impostato durante la creazione della valutazione determina se viene assegnato un superato o un fallimento. È disponibile una colonna Feedback umano in cui è possibile selezionare un'icona a forma di pollice verso l'alto o verso il basso mentre si esaminano i risultati della valutazione. È possibile usare questa colonna per registrare le istanze approvate o contrassegnate come non corrette da un revisore umano.

Per comprendere ogni metrica del rischio di contenuto, visualizzare le definizioni delle metriche nella sezione Report o esaminare il test nella sezione Dashboard metrica .

In caso di problemi con l'esecuzione, è anche possibile usare i log per effettuare il debug della valutazione. Ecco alcuni esempi di log che è possibile usare per eseguire il debug dell'esecuzione della valutazione:

Se si sta valutando un flusso di richiesta, è possibile selezionare il pulsante Visualizza nel flusso per passare alla pagina del flusso valutato e aggiornare il flusso. Ad esempio, è possibile aggiungere istruzioni aggiuntive per il prompt dei metadati o modificare alcuni parametri e rivalutare.

Confrontare i risultati della valutazione

Per confrontare due o più esecuzioni, selezionare le esecuzioni desiderate e avviare il processo. Selezionare il pulsante Confronta o il pulsante Passa alla visualizzazione dashboard per una visualizzazione dashboard dettagliata. Analizzare e confrontare le prestazioni e i risultati di più esecuzioni per prendere decisioni informate e miglioramenti mirati.

Nella visualizzazione dashboard è possibile accedere a due componenti importanti: il grafico di confronto della distribuzione delle metriche e la tabella di confronto. È possibile usare questi strumenti per eseguire un'analisi side-by-side delle esecuzioni di valutazione selezionate. È possibile confrontare vari aspetti di ogni campione di dati con facilità e precisione.

Lo screenshot seguente mostra i risultati quando i campi sono uguali:

Quando un utente non usa lo stesso nome criteri nella creazione della valutazione, i campi non corrispondono, il che fa sì che la piattaforma non sia in grado di confrontare direttamente i risultati:

Nella tabella di confronto, passa il mouse sull'esecuzione che desideri usare come punto di riferimento e impostalo come baseline. Attivare l'interruttore Mostra delta per visualizzare le differenze tra la linea di base e altre esecuzioni per i valori numerici. Selezionare l'interruttore Mostra solo differenza per visualizzare solo le righe che differiscono tra le esecuzioni selezionate, consentendo di identificare le varianti.

Usando queste funzionalità di confronto, è possibile prendere una decisione informata per selezionare la versione migliore:

• Confronto tra baseline: impostando un'esecuzione di base, è possibile identificare un punto di riferimento in base al quale confrontare le altre esecuzioni. È possibile vedere come ogni esecuzione devia dallo standard scelto.
• Valutazione numerica dei valori: l'abilitazione dell'opzione Mostra delta consente di comprendere l'entità delle differenze tra la baseline e altre esecuzioni. Queste informazioni possono aiutarti a valutare le performance delle varie esecuzioni in base a metriche di valutazione specifiche.
• Isolamento differenza: la funzionalità Mostra solo differenza semplifica l'analisi evidenziando solo le aree in cui sono presenti discrepanze tra le esecuzioni. Queste informazioni possono essere fondamentali per individuare dove sono necessari miglioramenti o regolazioni.

Usare gli strumenti di confronto per scegliere la configurazione con prestazioni migliori ed evitare regressioni in sicurezza o a terra.

Misurare la vulnerabilità di jailbreak

La valutazione della vulnerabilità di jailbreak è una misurazione comparativa, non una metrica assistita dall'intelligenza artificiale. Eseguire valutazioni su due set di dati testati in ambiente avverso: un set di dati di test avversario di base rispetto allo stesso set di dati di test avversario con iniezioni di jailbreak nel primo ciclo. È possibile usare il simulatore di dati antagonisti per generare il set di dati con o senza iniezioni di jailbreak. Assicurarsi che il valore Nome criteri sia lo stesso per ogni metrica di valutazione quando si configurano le esecuzioni.

Per verificare se la tua applicazione è vulnerabile al jailbreak, specifica la linea di base e attiva l'opzione tassi di difettosità del jailbreak nella tabella di confronto. La percentuale di difetti di jailbreak è la percentuale di istanze nel set di dati di test in cui un'iniezione di jailbreak genera un punteggio di gravità superiore per qualsiasi metrica di rischio del contenuto rispetto a una baseline nell'intero set di dati. Selezionare più valutazioni nel dashboard Confronta per visualizzare la differenza nei tassi di difetto.

Informazioni sulle metriche di valutazione predefinite

Comprendere le metriche predefinite è essenziale per valutare le prestazioni e l'efficacia dell'applicazione di intelligenza artificiale. Apprendendo questi strumenti di misurazione chiave, è possibile interpretare i risultati, prendere decisioni informate e ottimizzare l'applicazione per ottenere risultati ottimali.

Per altre informazioni, vedere Analizzatori predefiniti.

Risoluzione dei problemi

Contenuto correlato

• Migliorare le metriche basse con l'iterazione o l'ottimizzazione delle richieste.
• Esegui valutazioni nel cloud con Microsoft Foundry SDK.

Informazioni su come valutare le applicazioni di intelligenza artificiale generative:

• Valutare le app di intelligenza artificiale generative con il portale di Foundry o l'SDK.
• Creare valutazioni con i classificatori di valutazione OpenAI in Azure Hub OpenAI.