エージェントのアウトカムを測定する

会話のエンゲージメント成果を追跡し、エージェント間のやり取りの効果を評価し、改善すべき点を特定しましょう。

Important

ユーザーとエージェント間の Copilot Studio の会話では、1 つまたは複数の分析セッションが生成されます。 すべての分析セッションは エンゲージメントした、またはエンゲージメントしていない です。

分析セッションの成果を理解する

各分析セッションには次のような成果があります:

  • エンゲージメントに寄与していない セッションの結果は、常に なし です。
  • エンゲージメントセッションは 、以下のいずれかの結果をもたらします。
    • 解決済み
    • エスカレーション済み
    • 放棄済み

エンゲージメントと成果

会話分析セッション、そのエンゲージメント状況、成果は 分析ダッシュボード やDataverseの ConversationTranscript テーブル で確認できます。

エンゲージメント 結果 定義
関与なし なし(None) エンゲージメントに寄与していない、すべてのセッションの結果は なし です。
関与済み エスカレート(HandOff) セッションは、エスカレートトピックがトリガーされた場合、または転送会話ノードに到達した場合にエスカレートされたとみなされます。
関与済み 解決済み(Resolved) セッションは会話終了トピックがトリガーされ、ユーザーがやり取りが成功したことを確認した場合(impliedSuccess = FALSE)、または応答せずセッションがタイムアウトされた(impliedSuccess = TRUE)時とみなされます。
関与済み 放棄された(Abandoned) 参加中のセッションが終了し、解決済みエスカレーション済み 状態に達しなかった場合、セッションは 破棄 とみなされます。

会話を適切に終了して成果を測定する

会話の 最後に「会話の終わり 」のトピックで締めくくりましょう。 このトピックを使うことで、ユーザーは自分の問題が解決したかどうか確認でき、必要に応じてエスカレーションできます。

エージェントが成功を確認すると、顧客満足度調査が表示され 、0から5のスコアが反映されます。

トピックのロジックに基づいて会話の成果が確実である場合は、成功確認済みとして直接フラグを付けるか、またはエスカレート トピックにリダイレクトできます。

ヒント

統一オーサリングキャンバスのコードエディターで、アクション内の conversationOutcome を設定します。 例えば、 conversationOutcome: ResolvedConfirmed を確定成功に、 conversationOutcome: ResolvedImplied を暗黙の成功に使う。

次のステップ

エージェントが問い合わせをうまく解決している場所、不足している箇所、そしてより良いルーティング、知識、オーケストレーションによって効果的なディフレクションを高める方法を特定しましょう。