Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Importante
Los elementos marcados (versión preliminar) de este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se proporciona sin un contrato de nivel de servicio y no se recomienda para cargas de trabajo de producción. Es posible que algunas características no se admitan o que tengan funcionalidades restringidas. Para obtener más información, vea Supplemental Terms of Use for Microsoft Azure Previews.
Nota
El seguimiento está generalmente disponible solo para agentes de respuesta rápida. Los agentes de procesos, hospedados y personalizados se encuentran en versión preliminar.
Microsoft Foundry proporciona una plataforma de observabilidad para la supervisión y el seguimiento de agentes de inteligencia artificial. Captura los detalles clave durante una ejecución del agente, como entradas, salidas, uso de herramientas, reintentos, latencias y costos. Comprender el razonamiento detrás de las ejecuciones del agente es importante para solucionar problemas y depurar. Sin embargo, comprender los agentes complejos presenta desafíos por varias razones:
- Podría haber un gran número de pasos implicados en la generación de una respuesta, lo que dificulta el seguimiento de todos ellos.
- La secuencia de pasos puede variar en función de la entrada del usuario.
- Las entradas y salidas en cada fase pueden ser largas y merecen una inspección más detallada.
- Cada paso del entorno de ejecución de un agente también puede implicar el anidamiento. Por ejemplo, un agente podría invocar una herramienta, que usa otro proceso, que luego invoca otra herramienta. Si observa una salida extraña o incorrecta de una ejecución de agente de nivel superior, puede ser difícil determinar exactamente dónde se introdujo el problema en la ejecución.
Los resultados de seguimiento resuelven esto, lo que le permite ver las entradas y salidas de cada primitivo implicado en una ejecución de agente determinada, que se muestran en el orden en que se invocaron, lo que facilita la comprensión y depuración del comportamiento del agente de IA.
Requisitos previos
Para usar el seguimiento de un extremo a otro, es necesario que:
- Un proyecto de Foundry con el seguimiento habilitado. Para configurarlo, consulte Cómo configurar el seguimiento en Microsoft Foundry.
- Acceso al recurso de Application Insights conectado al proyecto. Para obtener información general, consulte Azure Monitor Application Insights.
- Un rol de lector de Log Analytics para ver seguimientos, conclusiones y visualizaciones en Foundry.
Nota
El seguimiento almacena datos de telemetría en Azure Monitor Application Insights, lo que puede incurrir en costos en función de la configuración de retención y volumen de datos. Para más información sobre los precios, consulte Precios de Application Insights.
OpenTelemetry en Foundry
OpenTelemetry (OTel) proporciona protocolos estandarizados para recopilar y enrutar datos de telemetría. Foundry usa convenciones semánticas de OpenTelemetry, por lo que los seguimientos son coherentes en las herramientas e integraciones admitidas.
Rastrear conceptos clave
Esta es una breve introducción a los conceptos clave antes de empezar:
| Conceptos clave | Descripción |
|---|---|
| Seguimientos | Los seguimientos capturan el recorrido de una solicitud o flujo de trabajo a través de la aplicación mediante la grabación de eventos y cambios de estado (llamadas de función, valores, eventos del sistema). Consulte Seguimientos de OpenTelemetry. |
| Intervalos | Los segmentos son los componentes esenciales de trazas, que representan operaciones únicas dentro de una traza. Cada intervalo captura los tiempos de inicio y finalización, así como los atributos, y pueden anidarse para mostrar relaciones jerárquicas, lo que le permite ver toda la pila de llamadas y la secuencia de operaciones. |
| Atributos | Los atributos son pares clave-valor adjuntos a seguimientos y intervalos, proporcionando metadatos contextuales como parámetros de función, valores devueltos o anotaciones personalizadas. Estos enriquecen los datos de seguimiento, lo que hace que sea más informativo y útil para el análisis. |
| Convenciones semánticas | OpenTelemetry define convenciones semánticas para estandarizar nombres y formatos para atributos de datos de seguimiento, lo que facilita la interpretación y el análisis entre herramientas y plataformas. Para más información, consulte Convenciones semánticas de OpenTelemetry. |
| Exportadores de trazas | Los exportadores de seguimiento envían datos de seguimiento a los sistemas back-end para el almacenamiento y el análisis. En Foundry, los seguimientos se almacenan en Azure Monitor Application Insights. Para obtener información sobre cómo habilitar y ver seguimientos, consulte Cómo configurar el seguimiento en Microsoft Foundry. |
Cómo funciona el seguimiento en Foundry
El seguimiento le ayuda a responder a preguntas como "¿De dónde procede esta respuesta?" y "¿Qué paso introdujo un pico de error o latencia?"
En un nivel alto, el seguimiento captura:
- Entradas de usuario y salidas del agente.
- Uso de herramientas, incluidas las llamadas a herramientas y los resultados.
- Consumo de tokens
- Señales de tiempo como la duración y la latencia.
Una vez habilitado el seguimiento para el proyecto, puede inspeccionar los seguimientos en el portal de Foundry y en Azure Monitor Application Insights. Para ver las opciones de configuración y visualización paso a paso, consulte Cómo configurar el seguimiento en Microsoft Foundry.
Extensión de OpenTelemetry con observabilidad multiagente
Microsoft, en colaboración con Cisco Outshift, ha introducido nuevas convenciones semánticas para sistemas multiagente, basados en OpenTelemetry y W3C Trace Context. Estas convenciones normalizan la telemetría de los flujos de trabajo de varios agentes, lo que permite el registro coherente de métricas para la calidad, el rendimiento, la seguridad y el costo, incluidas las invocaciones y la colaboración de herramientas.
Estas mejoras se integran en:
- Fábrica
- Framework del Agente de Microsoft
- LangChain
- LangGraph
- SDK de agentes de OpenAI
Para más información, consulte Integraciones de seguimiento.
En la tabla siguiente se describen las convenciones semánticas para la observabilidad multiagente. Los intervalos capturan operaciones discretas, los intervalos secundarios muestran operaciones anidadas dentro de un intervalo primario, los atributos proporcionan metadatos y los eventos marcan apariciones significativas durante la ejecución.
| Tipo | Contexto/Intervalo primario | Nombre/Atributo/Evento | Propósito |
|---|---|---|---|
| Envergadura | — | ejecutar_tarea | Captura la planeación de tareas y la propagación de eventos, lo que proporciona información sobre cómo se descomponen y distribuyen las tareas. |
| Intervalo hijo | invoke_agent | interacción entre agentes | Realiza un seguimiento de la comunicación entre agentes. |
| Intervalo hijo | invoke_agent | agent.state.management | Contexto efectivo, administración de memoria a corto o largo plazo. |
| Intervalo hijo | invoke_agent | agente_planificación | Registra los pasos de planeamiento interno del agente. |
| Intervalo hijo | invoke_agent | orquestación de agentes | Captura la orquestación de agente a agente. |
| Atributo | invoke_agent | definiciones_de_herramientas | Describe el propósito o la configuración de la herramienta. |
| Atributo | invoke_agent | llm_spans | Registra intervalos de llamadas de modelo. |
| Atributo | ejecutar_herramienta | tool.call.arguments | Registra los argumentos pasados durante la invocación de herramientas. |
| Atributo | ejecutar_herramienta | tool.call.results | Registra los resultados devueltos por la herramienta. |
| Evento | — | Evaluación (nombre, tipo de error, etiqueta) | Habilita la evaluación estructurada del rendimiento del agente y la toma de decisiones. |
Procedimientos recomendados
- Usar atributos de intervalo coherentes: aplique los mismos nombres y formatos de atributo en todos los agentes y herramientas para simplificar la consulta y el análisis.
- Correlacionar identificadores de ejecuciones de evaluación: Vincular los datos de seguimiento con ejecuciones de evaluación para analizar la calidad y el rendimiento en una vista unificada.
- Censurar contenido confidencial: remueva o enmascare los datos personales, los secretos y las credenciales de las indicaciones, los argumentos de la herramienta y los atributos de la extensión antes de que lleguen a los datos de telemetría.
Seguridad y privacidad
El seguimiento puede capturar información confidencial (por ejemplo, entradas de usuario, salidas del modelo y argumentos y resultados de la herramienta). Use estas prácticas para reducir el riesgo:
- No almacene secretos, credenciales ni tokens en avisos, argumentos de herramienta ni atributos span.
- Redacte o minimice los datos personales y otro contenido confidencial antes de que aparezca en la telemetría.
- Trate los datos de seguimiento como telemetría de producción y aplique los mismos controles de acceso y directivas de retención que use para los registros y las métricas.
Solución de problemas
Si las trazas no aparecen en el portal Foundry o en Application Insights:
- Compruebe que el proyecto foundry está conectado a un recurso de Application Insights.
- Compruebe que la cuenta tiene los permisos necesarios para consultar la telemetría.
- Asegúrese de que el código del agente incluye la instrumentación necesaria. Para la configuración específica del marco, consulte Integraciones de seguimiento.
Propina
El seguimiento está disponible en todas las regiones donde Foundry es compatible. La retención y el muestreo de datos de seguimiento siguen la configuración de Application Insights. Para obtener más información, consulte Data retention and archive in Azure Monitor Logs.