Azure SRE エージェントでのエージェント アクションの監査

エージェントは、ツールの呼び出し、モデル呼び出し、インシデント処理、承認の決定など、すべてのアクションを Application Insights リソースに記録します。 エージェントの実行内容、タイミング、理由を正確に確認するには、Kusto クエリ言語 (KQL) を使用して customEvents テーブルにクエリを実行します。 エージェント ポータルの Monitor>Logs からログに直接アクセスします。

ログを検索する場所

エージェントは、すべてのアクションを Azure Application Insights に自動的に記録します。 エージェントを作成するときは、Application Insights リソースも作成します。

ログにアクセスするには:

1. エージェント ポータルで、 Monitor>Logs に移動します。
2. このアクションにより、Azure portal でエージェントの Application Insights リソースが開きます。
3. KQL を使用して、 customEvents テーブルに対してクエリを実行します。

既定のクエリは traces | where timestamp > ago(1d) です。 エージェント アクションテレメトリを表示するには、このクエリを customEvents に変更します。

イベントの種類

エージェントは、9 種類のカスタム イベントを customEvents テーブルに記録します。 次のクエリは、すべてのイベントの種類とその数を示しています。

customEvents
| summarize Count = count() by name
| sort by Count desc

主要なイベントとそのフィールド

次のセクションでは、最も一般的にクエリされるイベントの種類とそのフィールドについて説明します。

ツールの実行 (AgentToolExecution)

システムは、エージェントがツールを呼び出すたびにこのイベントをログに記録します。

customEvents
| where name == "AgentToolExecution"
| where customDimensions.EventType == "ToolStart"
| where timestamp > ago(7d)
| project timestamp,
    Tool = tostring(customDimensions.ToolName),
    Input = tostring(customDimensions.ToolInput)
| sort by timestamp desc

インシデント ライフサイクル (IncidentActivitySnapshot)

エージェントが処理するすべてのインシデントについて、このイベントをログに記録します。 作成から解決までの完全なライフサイクルをキャプチャします。

// Incident outcomes over the last 30 days
customEvents
| where name == "IncidentActivitySnapshot"
| where timestamp > ago(30d)
| project timestamp,
    IncidentId = tostring(customDimensions.IncidentId),
    Title = tostring(customDimensions.IncidentTitle),
    Platform = tostring(customDimensions.IncidentPlatform),
    MitigatedByAgent = tostring(customDimensions.IncidentMitigatedByAgent),
    AssistedByAgent = tostring(customDimensions.IncidentAssistedByAgent),
    Autonomy = tostring(customDimensions.AgentAutonomyLevel),
    ResponsePlan = tostring(customDimensions.ResponsePlanId)
| sort by timestamp desc

モデル生成 (ModelGeneration)

LLM 呼び出しごとにこのイベントをログに記録します。 トークンの使用状況、モデルの選択、および要求エージェントを追跡します。

// Token usage by agent in the last 7 days
customEvents
| where name == "ModelGeneration"
| where customDimensions.EventType == "ModelGenerationEnd"
| where timestamp > ago(7d)
| extend Agent = tostring(customDimensions.AgentName),
    InputTokens = toint(customDimensions.InputTokens),
    OutputTokens = toint(customDimensions.OutputTokens),
    Model = tostring(customDimensions.ModelId)
| summarize TotalInput = sum(InputTokens),
    TotalOutput = sum(OutputTokens),
    Calls = count()
    by Agent, Model
| sort by TotalInput desc

承認の決定 (ApprovalDecision)

提案されたエージェント アクションを承認または拒否するときに、このイベントをログに記録します。

// All approval decisions
customEvents
| where name == "ApprovalDecision"
| where timestamp > ago(30d)
| project timestamp, customDimensions

一般的なクエリ

次の KQL クエリを使用して、エージェントの動作に関する一般的な質問に回答します。

エージェントは特定のスレッドで何をしましたか?

customEvents
| where timestamp > ago(7d)
| where tostring(customDimensions.ThreadId) == "<YOUR_THREAD_ID>"
| project timestamp,
    Event = name,
    EventType = tostring(customDimensions.EventType),
    Tool = tostring(customDimensions.ToolName),
    Agent = tostring(customDimensions.SubAgentName)
| sort by timestamp asc

<YOUR_THREAD_ID>を会話のスレッド ID に置き換えます。

最も頻繁に使用するツールはどれですか?

customEvents
| where name == "AgentToolExecution"
| where customDimensions.EventType == "ToolStart"
| where timestamp > ago(30d)
| summarize Count = count() by Tool = tostring(customDimensions.ToolName)
| sort by Count desc
| take 20

エージェントが軽減と支援を行ったインシデントの数はいくつですか?

customEvents
| where name == "IncidentActivitySnapshot"
| where timestamp > ago(30d)
| summarize
    Total = count(),
    MitigatedByAgent = countif(tostring(customDimensions.IncidentMitigatedByAgent) == "True"),
    AssistedByAgent = countif(tostring(customDimensions.IncidentAssistedByAgent) == "True")

毎日のトークン消費量の傾向

customEvents
| where name == "ModelGeneration"
| where customDimensions.EventType == "ModelGenerationEnd"
| where timestamp > ago(30d)
| extend InputTokens = toint(customDimensions.InputTokens),
    OutputTokens = toint(customDimensions.OutputTokens)
| summarize TotalTokens = sum(InputTokens) + sum(OutputTokens) by bin(timestamp, 1d)
| render timechart

すべてのイベントの共有フィールド

すべてのカスタム イベントには、関連付けとトレース用の次のフィールドが含まれています。

TraceIdを使用して、エージェントの推論、ツール呼び出し、応答を通じてユーザー入力から 1 つの要求に従います。

[Azure Activity Log (Azure アクティビティ ログ)]

エージェント リソースの作成、更新、削除などの Azure リソース レベルの操作には、Azure アクティビティ ログを使用します。 アクティビティ ログは、エージェント、マネージド ID、および Application Insights リソースに対するすべての Azure Resource Manager 操作をキャプチャします。

エージェントのリソース グループの下にある Azure portal でアクティビティ のサインインにアクセスします。

概要

監査ログは、すべてのエージェントに対して自動的に有効になります。 エージェント ポータルで Monitor>Logs を開き、KQL を使用してアクション履歴を照会します。

次のステップ

関連するコンテンツ

• インシデントの値を追跡する
• エージェントの使用状況を監視する
• 実行モード
• アクセス許可