TaskAdherenceEvaluator Classe

Definição

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

Herança

Object

TaskAdherenceEvaluator

Atributos

ExperimentalAttribute

Implementações

IEvaluator

Observações

TaskAdherenceEvaluator mede quão precisamente um sistema de IA adere à tarefa atribuída, examinando o alinhamento da resposta fornecida com as instruções e definições presentes no histórico da conversa, a precisão e clareza da resposta, e o uso adequado das definições de ferramentas fornecidas via ToolDefinitions.

Note que, neste momento, TaskAdherenceEvaluator só suporta a avaliação de chamadas para ferramentas definidas como AIFunctionDeclarations. Quaisquer outras AITool definições fornecidas por ToolDefinitions serão ignoradas.

TaskAdherenceEvaluator retorna um NumericMetric que contém uma pontuação para 'Adesão à Tarefa'. A pontuação é um número entre 1 e 5, sendo 1 uma pontuação fraca e 5 uma pontuação excelente.

Nota:TaskAdherenceEvaluator é um avaliador baseado em IA que utiliza um modelo de IA para realizar a sua avaliação. Embora o prompt que este avaliador utiliza para realizar a sua avaliação seja concebido para ser independente do modelo, o desempenho deste prompt (e da avaliação resultante) pode variar consoante o modelo utilizado, e pode ser especialmente fraco quando se utiliza um modelo mais pequeno ou local.

O prompt que TaskAdherenceEvaluator utiliza foi testado contra (e ajustado para funcionar bem) com os seguintes modelos. Portanto, usar este avaliador com um modelo da lista seguinte é provável que produza os melhores resultados. (O modelo a ser utilizado pode ser configurado via ChatClient.)

GPT-4o