TaskAdherenceEvaluator Classe

Définition

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

Héritage

Object

TaskAdherenceEvaluator

Attributs

ExperimentalAttribute

Implémente

IEvaluator

Remarques

TaskAdherenceEvaluator mesure la précision d’un système d’intelligence artificielle conforme à la tâche qui lui est assignée en examinant l’alignement de la réponse fournie avec des instructions et des définitions présentes dans l’historique des conversations, la précision et la clarté de la réponse, ainsi que l’utilisation appropriée des définitions d’outils fournies via ToolDefinitions.

Notez qu’à l’heure actuelle, TaskAdherenceEvaluator prend uniquement en charge l’évaluation des appels aux outils définis comme AIFunctionDeclarations. Toutes les autres AITool définitions fournies via ToolDefinitions seront ignorées.

TaskAdherenceEvaluator retourne un NumericMetric score qui contient un score pour « Adhésion à la tâche ». Le score est un nombre compris entre 1 et 5, avec 1 indiquant un score médiocre, et 5 indiquant un excellent score.

Note:TaskAdherenceEvaluator est un évaluateur basé sur l’IA qui utilise un modèle IA pour effectuer son évaluation. Bien que l’invite utilisée par cet évaluateur pour effectuer son évaluation soit conçue pour être indépendante du modèle, les performances de cette invite (et de l’évaluation résultante) peuvent varier en fonction du modèle utilisé et peuvent être particulièrement médiocres lorsqu’un modèle plus petit/local est utilisé.

L’invite qui TaskAdherenceEvaluator utilise a été testée sur (et paramétrée pour fonctionner correctement avec) les modèles suivants. Par conséquent, l’utilisation de cet évaluateur avec un modèle de la liste suivante est susceptible de produire les meilleurs résultats. (Le modèle à utiliser peut être configuré via ChatClient.)

GPT-4o