ToolCallAccuracyEvaluator Classe

Definição

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Herança

Object

ToolCallAccuracyEvaluator

Atributos

ExperimentalAttribute

Implementações

IEvaluator

Comentários

ToolCallAccuracyEvaluator mede com que precisão um sistema de IA usa ferramentas examinando chamadas de ferramenta (ou seja, FunctionCallContents) presentes na resposta fornecida para avaliar a relevância dessas chamadas de ferramenta para a conversa, a correção do parâmetro para essas chamadas de ferramenta em relação às definições de ferramenta fornecidas por meio ToolDefinitionse a precisão da extração de valor do parâmetro da conversa fornecida.

Observe que, no momento, ToolCallAccuracyEvaluator só dá suporte à avaliação de chamadas para ferramentas definidas como AIFunctionDeclarations. Todas as outras AITool definições fornecidas por meio ToolDefinitions serão ignoradas.

ToolCallAccuracyEvaluator retorna um BooleanMetric que contém uma pontuação para "Precisão de Chamada de Ferramenta". A pontuação será false se a chamada de ferramenta for irrelevante ou contiver informações não presentes na conversa e true se a chamada de ferramenta for relevante com parâmetros extraídos corretamente da conversa.

Nota:ToolCallAccuracyEvaluator é um avaliador baseado em IA que usa um modelo de IA para executar sua avaliação. Embora o prompt que esse avaliador usa para executar sua avaliação seja projetado para ser independente de modelo, o desempenho desse prompt (e a avaliação resultante) pode variar dependendo do modelo usado e pode ser especialmente ruim quando um modelo menor/local é usado.

O prompt que ToolCallAccuracyEvaluator usa foi testado (e ajustado para funcionar bem com) os modelos a seguir. Portanto, usar esse avaliador com um modelo da lista a seguir provavelmente produzirá os melhores resultados. (O modelo a ser usado pode ser configurado por meio de ChatClient.)

GPT-4o