RetrievalEvaluator Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Ein IEvaluator Wert, der die Leistung eines KI-Systems beim Abrufen von Informationen für zusätzlichen Kontext als Reaktion auf eine Benutzeranforderung (z. B. in einem RAG-Szenario (Retrieval Augmented Generation) auswertet.
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Vererbung
-
RetrievalEvaluator
- Implementiert
Hinweise
RetrievalEvaluator misst den Grad, in dem die informationen, die in den bereitgestellten Kontextblöcken enthalten RetrievedContextChunks sind, für die Benutzeranforderung relevant sind und wie gut diese Blöcke bewertet werden (wobei die relevantesten Informationen vor weniger relevanten Informationen angezeigt werden). Es wird ein NumericMetric Wert zurückgegeben, der eine Bewertung für "Abruf" enthält. Die Punktzahl ist eine Zahl zwischen 1 und 5, wobei 1 eine schlechte Bewertung angibt, und 5, die eine hervorragende Bewertung anzeigt.
Hohe Abrufergebnisse deuten darauf hin, dass das KI-System die relevantesten Informationen am Anfang erfolgreich extrahiert und bewertet hat, ohne Verzerrungen von externem Wissen einzuführen und faktenbezogene Korrektheit zu ignorieren. Umgekehrt deuten niedrige Abrufergebnisse darauf hin, dass das KI-System die relevantesten Kontextblöcke am Anfang der Liste nicht angezeigt hat, und / oder es wurden Verzerrungen eingeführt und faktenbezogene Korrektheit ignoriert.
Hinweis:RetrievalEvaluator ist ein KI-basierter Evaluator, der ein KI-Modell verwendet, um seine Auswertung durchzuführen. Während die Aufforderung, dass dieser Evaluierungsauswerter verwendet, modellagnostisch ist, kann die Leistung dieser Eingabeaufforderung (und der resultierenden Auswertung) je nach verwendetem Modell variieren und kann besonders schlecht sein, wenn ein kleineres/lokales Modell verwendet wird.
Die Eingabeaufforderung, die verwendet wird, RetrievalEvaluator wurde auf die folgenden Modelle getestet (und darauf abgestimmt), dass sie gut funktionieren. Daher ist die Verwendung dieses Evaluators mit einem Modell aus der folgenden Liste wahrscheinlich die besten Ergebnisse. (Das zu verwendende Modell kann über ChatClient.)
GPT-4o
Konstruktoren
| Name | Beschreibung |
|---|---|
| RetrievalEvaluator() |
Ein IEvaluator Wert, der die Leistung eines KI-Systems beim Abrufen von Informationen für zusätzlichen Kontext als Reaktion auf eine Benutzeranforderung (z. B. in einem RAG-Szenario (Retrieval Augmented Generation) auswertet. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| EvaluationMetricNames |
Ruft die Names der EvaluationMetricvon diesem IEvaluatorerzeugten s ab. |
| RetrievalMetricName |
Ruft die Name der NumericMetric zurückgegeben von RetrievalEvaluator. |
Methoden
| Name | Beschreibung |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Wertet den angegebenen |
