Ejecución de una evaluación en GitHub Action (versión preliminar)

Esta GitHub Action habilita la evaluación sin conexión de Microsoft Foundry Agents dentro de las canalizaciones de CI/CD. Simplifica el proceso de evaluación sin conexión, por lo que puede identificar posibles problemas y realizar mejoras antes de publicar una actualización en producción.

Para usar esta acción, proporcione un conjunto de datos con consultas de prueba y una lista de evaluadores. Esta acción invoca a los agentes con las consultas, ejecuta las evaluaciones y genera un informe de resumen.

Funciones

• Agent Evaluation: Automatice la evaluación de preproducción de agentes de Microsoft Foundry en el flujo de trabajo de CI/CD.
• Evaluadores: use cualquier evaluador del catálogo de evaluadores de Foundry.
• Análisis estadístico: los resultados de la evaluación incluyen intervalos de confianza y pruebas de importancia estadística para determinar si los cambios son significativos y no debido a una variación aleatoria.

Categorías del evaluador

• Evaluadores de agentes: evaluadores de procesos y de nivel de sistema para flujos de trabajo de agentes.
• Evaluadores RAG: evalúan los procesos de extremo a extremo y de recuperación en sistemas RAG.
• Evaluadores de riesgos y seguridad: evalúe los riesgos y los problemas de seguridad en las respuestas.
• Evaluadores de uso general: evaluación de calidad, como coherencia y fluidez.
• Calificadores basados en OpenAI: use los calificadores de OpenAI, como la comprobación de cadenas, la similitud de texto, el modelo de puntuación o etiqueta.
• Evaluadores personalizados: defina sus propios evaluadores personalizados mediante Python código o patrones LLM-as-judge.

Requisitos previos

• Un proyecto. Para más información, consulte Creación de un proyecto.
• Un agente de fundición.

Cómo configurar evaluaciones de agentes de inteligencia artificial

Entrada de datos de evaluaciones del agente de IA

Parámetros

Archivo de datos

El archivo de datos de entrada debe ser un archivo JSON con la siguiente estructura:

Archivo de datos de ejemplo básico

{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence"
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

Archivos de datos de ejemplo adicionales

Flujo de trabajo de evaluaciones del agente de IA

Para usar la acción de GitHub, agregue la acción de GitHub a los flujos de trabajo de CI/CD. Especifique los criterios de desencadenador, como la confirmación, y las rutas de acceso de archivo para desencadenar los flujos de trabajo automatizados.

En este ejemplo se muestra cómo puede ejecutar la evaluación del agente de IA al comparar distintos agentes mediante identificadores de agente.

name: "AI Agent Evaluation"

on:
  workflow_dispatch:
  push:
    branches:
      - main

permissions:
  id-token: write
  contents: read

jobs:
  run-action:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v4

      - name: Azure login using Federated Credentials
        uses: azure/login@v2
        with:
          client-id: ${{ vars.AZURE_CLIENT_ID }}
          tenant-id: ${{ vars.AZURE_TENANT_ID }}
          subscription-id: ${{ vars.AZURE_SUBSCRIPTION_ID }}

      - name: Run Evaluation
        uses: microsoft/ai-agent-evals@v3-beta
        with:
          # Replace placeholders with values for your Foundry Project
          azure-ai-project-endpoint: "<your-ai-project-endpoint>"
          deployment-name: "<your-deployment-name>"
          agent-ids: "<your-ai-agent-ids>"
          data-path: ${{ github.workspace }}/path/to/your/data-file

Salida de las evaluaciones del agente de IA

Los resultados de la evaluación se envían a la sección de resumen de cada ejecución de acción de evaluación de IA GitHub en Actions en GitHub. El informe muestra las puntuaciones de evaluación de cada métrica, intervalos de confianza y , cuando se evalúan varios agentes, una comparación estadística en pares que indica si las diferencias son significativas o dentro de una variación aleatoria.

En la captura de pantalla siguiente se muestra un informe de ejemplo que compara dos agentes.

Contenido relacionado

• Evaluación en Azure DevOps
• Cómo evaluar los modelos y aplicaciones de IA generativa con Microsoft Foundry
• Visualización de los resultados de evaluación en el portal de Foundry