EquivalenceEvaluator Klass

Definition

En IEvaluator som utvärderar "Likvärdighet" för ett svar som skapats av en AI-modell med ett annat svar som tillhandahålls via GroundTruth.

public ref class EquivalenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator
public sealed class EquivalenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
type EquivalenceEvaluator = class
    interface IEvaluator
Public NotInheritable Class EquivalenceEvaluator
Implements IEvaluator
Arv
EquivalenceEvaluator
Implementeringar

Kommentarer

EquivalenceEvaluator mäter i vilken grad svaret som utvärderas liknar det svar som tillhandahålls via GroundTruth. Den returnerar en NumericMetric som innehåller en poäng för "Equivalence". Poängen är ett tal mellan 1 och 5, med 1 som indikerar en dålig poäng och 5 som indikerar en utmärkt poäng.

Observera:EquivalenceEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.

Uppmaningen som EquivalenceEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)

GPT-4o

Konstruktorer

Name Description
EquivalenceEvaluator()

En IEvaluator som utvärderar "Likvärdighet" för ett svar som skapats av en AI-modell med ett annat svar som tillhandahålls via GroundTruth.

Egenskaper

Name Description
EquivalenceMetricName

Hämtar den Name returnerade NumericMetric av EquivalenceEvaluator.

EvaluationMetricNames

Hämtar s:erna NameEvaluationMetricsom produceras av den här IEvaluator.

Metoder

Name Description
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

Tilläggsmetoder

Name Description
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

Gäller för