TaskAdherenceEvaluator Klass

Definition

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

Arv

Object

TaskAdherenceEvaluator

Attribut

ExperimentalAttribute

Implementeringar

IEvaluator

Kommentarer

TaskAdherenceEvaluator mäter hur exakt ett AI-system följer den uppgift som tilldelats det genom att undersöka anpassningen av det angivna svaret med instruktioner och definitioner som finns i konversationshistoriken, noggrannheten och tydligheten i svaret och korrekt användning av verktygsdefinitioner som tillhandahålls via ToolDefinitions.

Observera att för närvarande TaskAdherenceEvaluator har endast stöd för utvärdering av anrop till verktyg som definieras som AIFunctionDeclarations. Alla andra AITool definitioner som tillhandahålls via ToolDefinitions ignoreras.

TaskAdherenceEvaluator returnerar en NumericMetric som innehåller en poäng för "Aktivitetsefterlevnad". Poängen är ett tal mellan 1 och 5, med 1 som indikerar en dålig poäng och 5 som indikerar en utmärkt poäng.

Observera:TaskAdherenceEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.

Uppmaningen som TaskAdherenceEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)

GPT-4o