ToolCallAccuracyEvaluator Classe

Definição

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Herança

Object

ToolCallAccuracyEvaluator

Atributos

ExperimentalAttribute

Implementações

IEvaluator

Observações

ToolCallAccuracyEvaluator mede a precisão com que um sistema de IA utiliza ferramentas examinando as chamadas de ferramentas (ou seja, FunctionCallContents) presentes na resposta fornecida para avaliar a relevância dessas chamadas para a conversa, a correção dos parâmetros para essas chamadas em relação às definições de ferramentas fornecidas via ToolDefinitions, e a precisão da extração do valor do parâmetro da conversa fornecida.

Note que, neste momento, ToolCallAccuracyEvaluator só suporta a avaliação de chamadas para ferramentas definidas como AIFunctionDeclarations. Quaisquer outras AITool definições fornecidas por ToolDefinitions serão ignoradas.

ToolCallAccuracyEvaluator retorna a BooleanMetric que contém uma pontuação para 'Precisão das Chamadas de Ferramenta'. A pontuação é false se a chamada à ferramenta for irrelevante ou contiver informação não presente na conversa e true se a chamada à ferramenta for relevante com parâmetros devidamente extraídos da conversa.

Nota:ToolCallAccuracyEvaluator é um avaliador baseado em IA que utiliza um modelo de IA para realizar a sua avaliação. Embora o prompt que este avaliador utiliza para realizar a sua avaliação seja concebido para ser independente do modelo, o desempenho deste prompt (e da avaliação resultante) pode variar consoante o modelo utilizado, e pode ser especialmente fraco quando se utiliza um modelo mais pequeno ou local.

O prompt que ToolCallAccuracyEvaluator utiliza foi testado contra (e ajustado para funcionar bem) com os seguintes modelos. Portanto, usar este avaliador com um modelo da lista seguinte é provável que produza os melhores resultados. (O modelo a ser utilizado pode ser configurado via ChatClient.)

GPT-4o