CoherenceEvaluator クラス

定義

AI モデルによって生成された応答の "一貫性" を評価する IEvaluator

public ref class CoherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator
public sealed class CoherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
type CoherenceEvaluator = class
    interface IEvaluator
Public NotInheritable Class CoherenceEvaluator
Implements IEvaluator
継承
CoherenceEvaluator
実装

注釈

CoherenceEvaluator は、評価される応答の読みやすさと使いやすさを測定します。 AI システムが自然に読み上げ、スムーズに流れ、応答で人間のような言語に似たテキストを生成する能力を評価します。

CoherenceEvaluator は、'Coherence' のスコアを含む NumericMetric を返します。 スコアは 1 から 5 までの数値で、1 はスコアが低く、5 は優れたスコアを示します。

注:CoherenceEvaluator は、AI モデルを使用してその評価を実行する AI ベースのエバリュエーターです。 このエバリュエーターが評価を実行するために使用するプロンプトはモデルに依存しないように設計されていますが、このプロンプト (および結果の評価) のパフォーマンスは、使用されるモデルによって異なる場合があり、小さいモデルやローカル モデルを使用する場合は特に低下する可能性があります。

CoherenceEvaluator使用するプロンプトは、次のモデルに対してテスト (および適切に動作するように調整) されています。 そのため、次の一覧のモデルでこのエバリュエーターを使用すると、最適な結果が得られる可能性があります。 (使用するモデルは、 ChatClientを使用して構成できます)。

GPT-4o

コンストラクター

名前 説明
CoherenceEvaluator()

AI モデルによって生成された応答の "一貫性" を評価する IEvaluator

プロパティ

名前 説明
CoherenceMetricName

CoherenceEvaluatorによって返されるNumericMetricNameを取得します。

EvaluationMetricNames

このIEvaluatorによって生成されたEvaluationMetricNameを取得します。

メソッド

名前 説明
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

拡張メソッド

名前 説明
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

指定したmodelResponseを評価し、1 つ以上のEvaluationMetricを含むEvaluationResultを返します。

適用対象

こちらもご覧ください