RelevanceEvaluator Classe
Definição
Importante
Algumas informações dizem respeito a um produto pré-lançado que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, de forma expressa ou implícita, em relação à informação aqui apresentada.
An IEvaluator que avalia a 'Relevância' de uma resposta produzida por um modelo de IA.
public ref class RelevanceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RelevanceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RelevanceEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceEvaluator
Implements IEvaluator- Herança
-
RelevanceEvaluator
- Implementações
Observações
RelevanceEvaluator mede o desempenho de um sistema de IA na compreensão da entrada e na geração de respostas contextualmente adequadas. Devolve um NumericMetric que contém uma partitura para 'Relevância'. A pontuação é um número entre 1 e 5, sendo 1 uma pontuação fraca e 5 uma pontuação excelente.
Pontuações elevadas de relevância indicam a compreensão do sistema de IA sobre a entrada e a sua capacidade de produzir saídas coerentes e contextualmente adequadas. Por outro lado, pontuações baixas de relevância indicam que as respostas geradas podem estar fora do tópico, sem contexto ou insuficientes para responder às questões pretendidas pelo utilizador.
Nota:RelevanceEvaluator é um avaliador baseado em IA que utiliza um modelo de IA para realizar a sua avaliação. Embora o prompt que este avaliador utiliza para realizar a sua avaliação seja concebido para ser independente do modelo, o desempenho deste prompt (e da avaliação resultante) pode variar consoante o modelo utilizado, e pode ser especialmente fraco quando se utiliza um modelo mais pequeno ou local.
O prompt que RelevanceEvaluator utiliza foi testado contra (e ajustado para funcionar bem) com os seguintes modelos. Portanto, usar este avaliador com um modelo da lista seguinte é provável que produza os melhores resultados. (O modelo a ser utilizado pode ser configurado via ChatClient.)
GPT-4o
Construtores
| Name | Description |
|---|---|
| RelevanceEvaluator() |
An IEvaluator que avalia a 'Relevância' de uma resposta produzida por um modelo de IA. |
Propriedades
| Name | Description |
|---|---|
| EvaluationMetricNames |
Obtém o Names do EvaluationMetrics produzido por isto IEvaluator. |
| RelevanceMetricName |
Obtém o Name de devolvido NumericMetric por RelevanceEvaluator. |
Métodos
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Avalia o fornecido |
