GitHub アクションで評価を実行する方法 (プレビュー)

この GitHub Action により、CI/CD パイプライン内の Microsoft Foundry Agents のオフライン評価が可能になります。 オフライン評価プロセスが効率化されるため、運用環境に更新プログラムをリリースする前に潜在的な問題を特定し、改善することができます。

このアクションを使用するには、テスト クエリとエバリュエーターの一覧を含むデータ セットを指定します。 このアクションにより、クエリを使用してエージェントが呼び出され、評価が実行され、概要レポートが生成されます。

機能

• Agent Evaluation: CI/CD ワークフロー内のMicrosoft Foundry エージェントの実稼働前評価を自動化します。
• エバリュエーター: Foundry 評価者カタログから任意の評価者を使用します。
• 統計分析: 評価結果には信頼区間が含まれており、統計的有意性をテストして、ランダムな変動による変化ではなく意味があるかどうかを判断します。

エバリュエーターのカテゴリ

• エージェント エバリュエーター: エージェント ワークフローのプロセス とシステム レベルのエバリュエーター。
• RAG エバリュエーター: RAG システムでエンド ツー エンドのプロセスと取得プロセスを評価します。
• リスクと安全の評価者: 対応に関するリスクと安全上の懸念を評価します。
• 汎用エバリュエーター: 一貫性や流暢性などの品質評価。
• OpenAI ベースの採点者: 文字列チェック、テキストの類似性、スコア/ラベル モデルを含む OpenAI 採点者を使用します。
• Custom エバリュエーター: Pythonコードまたは LLM の判断パターンを使用して、独自のカスタム エバリュエーターを定義します。

前提 条件

• プロジェクト。 詳細については、「 プロジェクトの作成」を参照してください。
• 鋳造所エージェント。

AI エージェントの評価を設定する方法

AIエージェント評価入力

パラメーター

データ ファイル

入力データ ファイルは、次の構造の JSON ファイルである必要があります。

基本的なサンプル データ ファイル

{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence"
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

その他のサンプル データ ファイル

AI エージェントの評価ワークフロー

GitHub アクションを使用するには、GITHUB アクションを CI/CD ワークフローに追加します。 コミット時などのトリガー条件と、自動化されたワークフローをトリガーするファイル パスを指定します。

この例では、エージェント ID を使用して異なるエージェントを比較するときに AI エージェント評価を実行する方法を示します。

name: "AI Agent Evaluation"

on:
  workflow_dispatch:
  push:
    branches:
      - main

permissions:
  id-token: write
  contents: read

jobs:
  run-action:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v4

      - name: Azure login using Federated Credentials
        uses: azure/login@v2
        with:
          client-id: ${{ vars.AZURE_CLIENT_ID }}
          tenant-id: ${{ vars.AZURE_TENANT_ID }}
          subscription-id: ${{ vars.AZURE_SUBSCRIPTION_ID }}

      - name: Run Evaluation
        uses: microsoft/ai-agent-evals@v3-beta
        with:
          # Replace placeholders with values for your Foundry Project
          azure-ai-project-endpoint: "<your-ai-project-endpoint>"
          deployment-name: "<your-deployment-name>"
          agent-ids: "<your-ai-agent-ids>"
          data-path: ${{ github.workspace }}/path/to/your/data-file

AI エージェントの評価結果の出力

評価結果は、GitHubの Actions で実行される各 AI 評価GitHub アクションの概要セクションに出力されます。 このレポートには、各メトリックの評価スコア、信頼区間、および複数のエージェントを評価する場合は、差分が意味のあるかランダムな変動内かを示すペアワイズ統計比較が表示されます。

次のスクリーンショットは、2 つのエージェントを比較したサンプル レポートを示しています。

関連コンテンツ

• Azure DevOps における評価
• Microsoft Foundry を使用して生成型 AI モデルとアプリケーションを評価する方法
• Foundry ポータルで評価結果を表示する方法