Azure SRE エージェントのエージェント実験環境

変更をデプロイする前に、カスタム エージェントの動作をリアルタイムでテストします。 手順、ツール、ハンドオフを編集し、分割画面レイアウトで即座にフィードバックを送信できます。 AI を利用したスコアリングと迅速な修正により、エージェントの品質を評価します。

問題

効果的なエージェント構成の構築は反復的なプロセスです。 手順の記述、ツールの割り当て、ハンドオフの設定を行います。 デプロイして初めて、エージェントが意図を誤解していることや、重要なツールが欠けていることが判明する場合があります。 編集、デプロイ、テスト、修正の各サイクルは、無駄な時間と、運用ワークフローを中断するリスクを伴います。

専用のテスト環境がない場合は、変更をデプロイして、その動作を確認します。 実際のスレッドに影響を与えるライブ会話でテストします。 あなたの指示が十分に明確であるかどうかを推測します。

遊び場のしくみ

プレイグラウンドは、エージェント キャンバスの Canvas ビューおよび Table ビューと並ぶ専用ビューです。 [表示] トグルから [ 遊び場のテスト ] を選択して、編集とテストを行う分割画面環境に入ります。

テスト対象を選択する

上部の [カスタム エージェント/ツール ] ドロップダウンを使用して、テスト対象を選択します。

サイド バイ サイドで編集とテストを行う

カスタム エージェントの場合、プレイグラウンドは 2 つのパネルに分割されます。

エディター：

• フォーム ビュー: カスタム エージェント名、手順、ハンドオフ命令、ハンドオフ カスタム エージェント、ツール、ナレッジ ベース アクセスを編集します。
• YAML ビュー: エージェントの完全な構成を YAML として編集します。

テスティング：

• [テスト] タブ: 現在の構成を使用してエージェントとチャットします。
• [評価] タブ: AI を利用した品質分析を実行します。

このアプローチの違い

ライブ会話でのテストとは異なり、プレイグラウンドは、変更が運用環境のスレッドに影響しない分離された環境を提供します。 分割画面レイアウトは、ビューを切り替えたり、デプロイを待機したりすることなく、命令の変更の影響をすぐに確認することを意味します。

評価機能は、手動テストを超えています。 AI は、エージェントの構成とチャットの動作を分析して、見逃す可能性がある問題 (不明な指示、ツールの不足、安全性のギャップ、意図のずれ) を明らかにします。

エージェントの品質を評価する

[ 評価 ] タブでは、エージェント構成に対して AI を利用した品質スコアリングが提供されます。 [ 評価 ] を選択して、現在のセットアップと最近のチャット動作を分析します。

この評価では、次のスコアが返されます。

クイック修正

評価で改善点が特定されたら、[ 確認して適用 ] を選択してクイック修正ダイアログを開きます。 必要な修正プログラムを選択し、YAML の差分をプレビューしてから、[ 選択した修正を受け入れる ] ボタンを使用します。 編集を続行するか、すぐに保存することもできます。

分離してツールをテストする

エージェントのプレイグラウンドとは別に、システム ツールと Kusto ツールをテストできます。

システム ツール

[カスタム エージェント]/[ツール] ドロップダウンからシステム ツールを選択して、組み込み機能を個別にテストします。 パラメーター値を入力し、[ ツールの実行 ] を選択して生の JSON 出力を表示します。

Kusto ツール

Kusto ツールを選択して、接続されたクラスターに対してクエリをテストします。 テスト パネルには、行数、列、実行時間を含むクエリ結果が表示されます。 KQL を調整して再実行します。

詳細な手順については、「 プレイグラウンドでツールをテストする」を参照してください。

AI による支援構成

プレイグラウンドには、カスタム エージェントの指示を調整するための 2 つの AI アシスタンス機能が含まれています。

• AIで改善する: 指示とハンドオフの説明をその場で書き換えます。 この機能は、現在のテキストを AI 改善バージョンに直接置き換えるので、保存する前に変更を確認してください。
• AI の提案を表示する: AI の推奨事項を示すフォームと共に読み取り専用パネルが開きます。改善のための提案、潜在的な問題に関する警告、および改善されたバージョンの指示とハンドオフの説明。 この機能では、構成は変更されません。 編集中に参照として使用します。

概要

関連するコンテンツ