RelevanceEvaluator Klass

Definition

public ref class RelevanceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

public sealed class RelevanceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

type RelevanceEvaluator = class
    interface IEvaluator

Public NotInheritable Class RelevanceEvaluator
Implements IEvaluator

Arv

Object

RelevanceEvaluator

Implementeringar

IEvaluator

Kommentarer

RelevanceEvaluator mäter ai-systemets prestanda för att förstå indata och generera kontextuellt lämpliga svar. Den returnerar en NumericMetric som innehåller en poäng för "Relevans". Poängen är ett tal mellan 1 och 5, med 1 som indikerar en dålig poäng och 5 som indikerar en utmärkt poäng.

Höga relevanspoäng betyder AI-systemets förståelse av indata och dess förmåga att producera sammanhängande och kontextuellt lämpliga utdata. Omvänt indikerar låga relevanspoäng att genererade svar kan vara utanför ämnet, saknas i kontexten eller otillräckliga när det gäller att hantera användarens avsedda frågor.

Observera:RelevanceEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.

Uppmaningen som RelevanceEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)

GPT-4o