IntentResolutionEvaluator Classe

Definição

public ref class IntentResolutionEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type IntentResolutionEvaluator = class
    interface IEvaluator

type IntentResolutionEvaluator = class
    interface IEvaluator

Public NotInheritable Class IntentResolutionEvaluator
Implements IEvaluator

Herança

Object

IntentResolutionEvaluator

Atributos

ExperimentalAttribute

Implementações

IEvaluator

Observações

IntentResolutionEvaluator avalia a eficácia de um sistema de IA na identificação e resolução da intenção do utilizador com base no histórico de conversas fornecido e nas definições de ferramentas fornecidas via ToolDefinitions.

Note que, neste momento, IntentResolutionEvaluator só suporta a avaliação de chamadas para ferramentas definidas como AIFunctionDeclarations. Quaisquer outras AITool definições fornecidas por ToolDefinitions serão ignoradas.

IntentResolutionEvaluator retorna um NumericMetric que contém uma pontuação para 'Resolução de Intenção'. A pontuação é um número entre 1 e 5, sendo 1 uma pontuação fraca e 5 uma pontuação excelente.

Nota:IntentResolutionEvaluator é um avaliador baseado em IA que utiliza um modelo de IA para realizar a sua avaliação. Embora o prompt que este avaliador utiliza para realizar a sua avaliação seja concebido para ser independente do modelo, o desempenho deste prompt (e da avaliação resultante) pode variar consoante o modelo utilizado, e pode ser especialmente fraco quando se utiliza um modelo mais pequeno ou local.

O prompt que IntentResolutionEvaluator utiliza foi testado contra (e ajustado para funcionar bem) com os seguintes modelos. Portanto, usar este avaliador com um modelo da lista seguinte é provável que produza os melhores resultados. (O modelo a ser utilizado pode ser configurado via ChatClient.)

GPT-4o