IntentResolutionEvaluator Klass

Definition

public ref class IntentResolutionEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type IntentResolutionEvaluator = class
    interface IEvaluator

type IntentResolutionEvaluator = class
    interface IEvaluator

Public NotInheritable Class IntentResolutionEvaluator
Implements IEvaluator

Arv

Object

IntentResolutionEvaluator

Attribut

ExperimentalAttribute

Implementeringar

IEvaluator

Kommentarer

IntentResolutionEvaluator utvärderar ai-systemets effektivitet när det gäller att identifiera och lösa användarinsikter baserat på den angivna konversationshistoriken och de verktygsdefinitioner som tillhandahålls via ToolDefinitions.

Observera att för närvarande IntentResolutionEvaluator har endast stöd för utvärdering av anrop till verktyg som definieras som AIFunctionDeclarations. Alla andra AITool definitioner som tillhandahålls via ToolDefinitions ignoreras.

IntentResolutionEvaluator returnerar en NumericMetric som innehåller en poäng för "Avsiktsmatchning". Poängen är ett tal mellan 1 och 5, med 1 som indikerar en dålig poäng och 5 som indikerar en utmärkt poäng.

Observera:IntentResolutionEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.

Uppmaningen som IntentResolutionEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)

GPT-4o