Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
El emisor de diagnóstico de Apache Spark de Fabric está disponible con carácter general en Microsoft Fabric. Proporciona una manera unificada de recopilar diagnósticos de Apache Spark y enrutarlos a destinos de Azure para supervisar, solucionar problemas y análisis a largo plazo.
Lo que recopila el emisor de diagnóstico
El emisor admite cuatro flujos de diagnóstico:
- Registros de eventos de Spark: eventos del motor de Spark estructurados para el ciclo de vida del proceso, la etapa y la tarea.
- Registros del controlador de Spark: Salida de registros del proceso del controlador de Spark.
- Registros del ejecutor de Spark: salida de registro de los procesos del ejecutor destinados a diagnósticos de nivel de tarea.
- Métricas de Spark: métricas de rendimiento de JVM, ejecutor y nivel de tarea.
También puede escribir registros de aplicaciones personalizados mediante Apache Log4j en Scala y PySpark. Estos registros se emiten junto con los diagnósticos del sistema cuando se configura el enrutamiento.
Dónde se pueden enviar los diagnósticos
El emisor admite los siguientes destinos:
- Azure Log Analytics: recopilación de registros y métricas con Azure Log Analytics
- Azure Event Hubs: recopilación de registros y métricas de aplicaciones de Apache Spark mediante Azure Event Hubs
- Azure Blob Storage: recopilación de métricas y registros de aplicaciones de Apache Spark mediante la cuenta de Azure Storage
Todos los destinos usan el mismo spark.synapse.diagnostic.emitter patrón de configuración, con valores específicos del destino.
Puede configurar un destino o varios destinos, según sus necesidades operativas.
API de ingesta de registros en comparación con Data Collector API
Para Azure Log Analytics, log ingestion API es el modelo recomendado. En comparación con la API del recopilador de datos HTTP, proporciona:
- Asignación explícita de esquemas mediante reglas de recopilación de datos (DCR).
- Enrutamiento y controles de punto de conexión a través de puntos de conexión de recopilación de datos (DCE).
- Autenticación con el secreto de cliente o el certificado de la entidad de servicio.
Si actualmente usa HTTP Data Collector API, migre a la API de ingesta de logs para garantizar la capacidad de observación futura de Spark.
Solo para referencia heredada, consulte Supervisión de aplicaciones Apache Spark con Azure Log Analytics.