RetrievalEvaluator Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Oggetto IEvaluator che valuta le prestazioni di un sistema di intelligenza artificiale nel recupero di informazioni per un contesto aggiuntivo in risposta a una richiesta dell'utente (ad esempio, in uno scenario di generazione aumentata di recupero).
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Ereditarietà
-
RetrievalEvaluator
- Implementazioni
Commenti
RetrievalEvaluator misura il grado in cui le informazioni presenti nei blocchi di contesto forniti tramite RetrievedContextChunks sono rilevanti per la richiesta dell'utente e la classificazione di questi blocchi (con le informazioni più rilevanti visualizzate prima di informazioni meno rilevanti). Restituisce un oggetto NumericMetric che contiene un punteggio per "Recupero". Il punteggio è un numero compreso tra 1 e 5, con 1 che indica un punteggio scarso e 5 che indica un punteggio eccellente.
Punteggi di recupero elevati indicano che il sistema di intelligenza artificiale ha estratto e classificato correttamente le informazioni più rilevanti nella parte superiore, senza introdurre distorsioni dalla conoscenza esterna e ignorare la correttezza effettiva. Viceversa, i punteggi di recupero bassi suggeriscono che il sistema di intelligenza artificiale non è riuscito a visualizzare i blocchi di contesto più rilevanti nella parte superiore dell'elenco e/o ha introdotto distorsioni e ignorato la correttezza effettiva.
Nota:RetrievalEvaluator è un analizzatore basato su intelligenza artificiale che usa un modello di intelligenza artificiale per eseguire la valutazione. Anche se la richiesta usata da questo analizzatore per eseguire la valutazione è progettata per essere indipendente dal modello, le prestazioni di questo prompt (e la valutazione risultante) possono variare a seconda del modello usato e possono risultare particolarmente scarse quando viene usato un modello più piccolo/locale.
La richiesta che RetrievalEvaluator usa è stata testata su (e ottimizzata per funzionare correttamente con) i modelli seguenti. Pertanto, è probabile che l'uso di questo analizzatore con un modello dell'elenco seguente producano i risultati migliori. Il modello da usare può essere configurato tramite ChatClient.)
GPT-4o
Costruttori
| Nome | Descrizione |
|---|---|
| RetrievalEvaluator() |
Oggetto IEvaluator che valuta le prestazioni di un sistema di intelligenza artificiale nel recupero di informazioni per un contesto aggiuntivo in risposta a una richiesta dell'utente (ad esempio, in uno scenario di generazione aumentata di recupero). |
Proprietà
| Nome | Descrizione |
|---|---|
| EvaluationMetricNames |
Ottiene gli Nameoggetti dell'oggetto EvaluationMetricprodotto da questo IEvaluatoroggetto . |
| RetrievalMetricName |
Ottiene l'oggetto Name dell'oggetto NumericMetric restituito da RetrievalEvaluator. |
Metodi
| Nome | Descrizione |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Valuta l'oggetto fornito |
