IntentResolutionEvaluator Classe

Definição

public ref class IntentResolutionEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type IntentResolutionEvaluator = class
    interface IEvaluator

type IntentResolutionEvaluator = class
    interface IEvaluator

Public NotInheritable Class IntentResolutionEvaluator
Implements IEvaluator

Herança

Object

IntentResolutionEvaluator

Atributos

ExperimentalAttribute

Implementações

IEvaluator

Comentários

IntentResolutionEvaluator avalia a eficácia de um sistema de IA na identificação e resolução da intenção do usuário com base no histórico de conversas fornecido e nas definições de ferramenta fornecidas por meio ToolDefinitionsde .

Observe que, no momento, IntentResolutionEvaluator só dá suporte à avaliação de chamadas para ferramentas definidas como AIFunctionDeclarations. Todas as outras AITool definições fornecidas por meio ToolDefinitions serão ignoradas.

IntentResolutionEvaluator retorna um NumericMetric que contém uma pontuação para "Resolução de Intenção". A pontuação é um número entre 1 e 5, com 1 indicando uma pontuação ruim e 5 indicando uma excelente pontuação.

Nota:IntentResolutionEvaluator é um avaliador baseado em IA que usa um modelo de IA para executar sua avaliação. Embora o prompt que esse avaliador usa para executar sua avaliação seja projetado para ser independente de modelo, o desempenho desse prompt (e a avaliação resultante) pode variar dependendo do modelo usado e pode ser especialmente ruim quando um modelo menor/local é usado.

O prompt que IntentResolutionEvaluator usa foi testado (e ajustado para funcionar bem com) os modelos a seguir. Portanto, usar esse avaliador com um modelo da lista a seguir provavelmente produzirá os melhores resultados. (O modelo a ser usado pode ser configurado por meio de ChatClient.)

GPT-4o