TaskAdherenceEvaluator クラス

定義

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

継承

Object

TaskAdherenceEvaluator

属性

ExperimentalAttribute

実装

IEvaluator

注釈

TaskAdherenceEvaluator では、AI システムがそれに割り当てられたタスクにどの程度正確に準拠しているかを測定します。これは、会話履歴に存在する命令と定義、応答の正確さと明確さ、および ToolDefinitionsを介して提供されたツール定義の適切な使用を調べることで、提供された応答のアラインメントを調べることによって測定します。

現時点では、 TaskAdherenceEvaluator では、 AIFunctionDeclarationとして定義されているツールの呼び出しの評価のみがサポートされることに注意してください。 ToolDefinitionsを介して提供されるその他のAITool定義は無視されます。

TaskAdherenceEvaluator は、'Task Adherence' のスコアを含む NumericMetric を返します。 スコアは 1 から 5 までの数値で、1 はスコアが低く、5 は優れたスコアを示します。

注:TaskAdherenceEvaluator は、AI モデルを使用してその評価を実行する AI ベースのエバリュエーターです。 このエバリュエーターが評価を実行するために使用するプロンプトはモデルに依存しないように設計されていますが、このプロンプト (および結果の評価) のパフォーマンスは、使用されるモデルによって異なる場合があり、小さいモデルやローカル モデルを使用する場合は特に低下する可能性があります。

TaskAdherenceEvaluator使用するプロンプトは、次のモデルに対してテスト (および適切に動作するように調整) されています。 そのため、次の一覧のモデルでこのエバリュエーターを使用すると、最適な結果が得られる可能性があります。 (使用するモデルは、 ChatClientを使用して構成できます)。

GPT-4o