ToolCallAccuracyEvaluator Klass

Definition

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Arv

Object

ToolCallAccuracyEvaluator

Attribut

ExperimentalAttribute

Implementeringar

IEvaluator

Kommentarer

ToolCallAccuracyEvaluator mäter hur exakt ett AI-system använder verktyg genom att undersöka verktygsanrop (dvs. FunctionCallContents) som finns i det angivna svaret för att bedöma relevansen av dessa verktygsanrop till konversationen, parametern korrekthet för dessa verktygsanrop med avseende på de verktygsdefinitioner som tillhandahålls via ToolDefinitionsoch noggrannheten i parametervärdets extrahering från den angivna konversationen.

Observera att för närvarande ToolCallAccuracyEvaluator har endast stöd för utvärdering av anrop till verktyg som definieras som AIFunctionDeclarations. Alla andra AITool definitioner som tillhandahålls via ToolDefinitions ignoreras.

ToolCallAccuracyEvaluator returnerar en BooleanMetric som innehåller en poäng för "Noggrannhet för verktygsanrop". Poängen är false om verktygsanropet är irrelevant eller innehåller information som inte finns i konversationen och true om verktygsanropet är relevant med korrekt extraherade parametrar från konversationen.

Observera:ToolCallAccuracyEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.

Uppmaningen som ToolCallAccuracyEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)

GPT-4o