F1Evaluator Klass

Definition

En IEvaluator som utvärderar kvaliteten på ett svar som produceras av en AI-modell genom att jämföra det med ett referenssvar med hjälp av F1-bedömningsalgoritmen. F1-poäng är förhållandet mellan antalet delade ord mellan det genererade svaret och referenssvaret.

public ref class F1Evaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator
public sealed class F1Evaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
type F1Evaluator = class
    interface IEvaluator
Public NotInheritable Class F1Evaluator
Implements IEvaluator
Arv
F1Evaluator
Implementeringar

Kommentarer

Beräknar F1Evaluator F1-poängen för ett svar ("hypotes") i förhållande till en referens för grundsanning som tillhandahålls av GroundTruth. Poängen returneras i en NumericMetric med ett värde mellan 0,0 och 1,0 där 0,0 inte representerar någon matchning alls och 1,0 indikerar en perfekt matchning. Som standard tolkas poängen med en gräns för pass/fail på 0,5. Så en poäng på 0,5 eller högre passerar och en poäng under 0,5 misslyckas.

Konstruktorer

Name Description
F1Evaluator()

En IEvaluator som utvärderar kvaliteten på ett svar som produceras av en AI-modell genom att jämföra det med ett referenssvar med hjälp av F1-bedömningsalgoritmen. F1-poäng är förhållandet mellan antalet delade ord mellan det genererade svaret och referenssvaret.

Egenskaper

Name Description
EvaluationMetricNames

Hämtar s:erna NameEvaluationMetricsom produceras av den här IEvaluator.

F1MetricName

Hämtar den Name returnerade NumericMetric av F1Evaluator.

Metoder

Name Description
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

Tilläggsmetoder

Name Description
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Utvärderar den angivna modelResponse och returnerar en EvaluationResult som innehåller en eller flera EvaluationMetrics.

Gäller för