ToolCallAccuracyEvaluator Classe

Définition

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Héritage

Object

ToolCallAccuracyEvaluator

Attributs

ExperimentalAttribute

Implémente

IEvaluator

Remarques

ToolCallAccuracyEvaluator mesure la précision d’un système IA utilise des outils en examinant les appels d’outils (c’est-à-dire FunctionCallContentles s) présents dans la réponse fournie pour évaluer la pertinence de ces appels d’outils à la conversation, la correction des paramètres pour ces appels d’outils en ce qui concerne les définitions d’outils fournies via ToolDefinitions, et la précision de l’extraction de valeur de paramètre à partir de la conversation fournie.

Notez qu’à l’heure actuelle, ToolCallAccuracyEvaluator prend uniquement en charge l’évaluation des appels aux outils définis comme AIFunctionDeclarations. Toutes les autres AITool définitions fournies via ToolDefinitions seront ignorées.

ToolCallAccuracyEvaluator retourne un BooleanMetric score qui contient un score pour « Précision de l’appel de l’outil ». Le score est false si l’appel de l’outil n’est pas pertinent ou contient des informations non présentes dans la conversation et true si l’appel de l’outil est pertinent avec des paramètres correctement extraits de la conversation.

Note:ToolCallAccuracyEvaluator est un évaluateur basé sur l’IA qui utilise un modèle IA pour effectuer son évaluation. Bien que l’invite utilisée par cet évaluateur pour effectuer son évaluation soit conçue pour être indépendante du modèle, les performances de cette invite (et de l’évaluation résultante) peuvent varier en fonction du modèle utilisé et peuvent être particulièrement médiocres lorsqu’un modèle plus petit/local est utilisé.

L’invite qui ToolCallAccuracyEvaluator utilise a été testée sur (et paramétrée pour fonctionner correctement avec) les modèles suivants. Par conséquent, l’utilisation de cet évaluateur avec un modèle de la liste suivante est susceptible de produire les meilleurs résultats. (Le modèle à utiliser peut être configuré via ChatClient.)

GPT-4o