IntentResolutionEvaluator クラス

定義

public ref class IntentResolutionEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type IntentResolutionEvaluator = class
    interface IEvaluator

type IntentResolutionEvaluator = class
    interface IEvaluator

Public NotInheritable Class IntentResolutionEvaluator
Implements IEvaluator

継承

Object

IntentResolutionEvaluator

属性

ExperimentalAttribute

実装

IEvaluator

注釈

IntentResolutionEvaluator は、提供された会話履歴と、 ToolDefinitionsを介して提供されたツール定義に基づいて、ユーザーの意図を識別して解決する際の AI システムの有効性を評価します。

現時点では、 IntentResolutionEvaluator では、 AIFunctionDeclarationとして定義されているツールの呼び出しの評価のみがサポートされることに注意してください。 AIToolを介して提供されるその他のToolDefinitions定義は無視されます。

IntentResolutionEvaluator は、'Intent Resolution' のスコアを含む NumericMetric を返します。 スコアは 1 から 5 までの数値で、1 はスコアが低く、5 は優れたスコアを示します。

注:IntentResolutionEvaluator は、AI モデルを使用してその評価を実行する AI ベースのエバリュエーターです。 このエバリュエーターが評価を実行するために使用するプロンプトはモデルに依存しないように設計されていますが、このプロンプト (および結果の評価) のパフォーマンスは、使用されるモデルによって異なる場合があり、小さいモデルやローカル モデルを使用する場合は特に低下する可能性があります。

IntentResolutionEvaluator使用するプロンプトは、次のモデルに対してテスト (および適切に動作するように調整) されています。 そのため、次の一覧のモデルでこのエバリュエーターを使用すると、最適な結果が得られる可能性があります。 (使用するモデルは、 ChatClientを使用して構成できます)。

GPT-4o