Fabric Apache Spark Diagnostic Emitter oversikt

Fabric Apache Spark Diagnostic Emitter er generelt tilgjengelig i Microsoft Fabric. Den gir en samlet måte å samle inn Apache Spark-diagnostikk på og sende dem til Azure-destinasjoner for overvåking, feilsøking og langsiktig analyse.

Hva den diagnostiske emitteren samler inn

Emitteren støtter fire diagnostiske strømmer:

  • Spark-hendelseslogger: Strukturerte Spark-motorhendelser for jobb, stadium og oppgavelivssyklus.
  • Spark-driverlogger: Loggutdata fra Spark-driverprosessen.
  • Spark-utførerlogger: Loggutdata fra utførerprosesser for oppgavenivådiagnostikk.
  • Spark-målinger: JVM, utøver og ytelsesmålinger på oppgavenivå.

Du kan også skrive tilpassede applikasjonslogger ved å bruke Apache Log4j i Scala og PySpark. Disse loggene sendes ut sammen med systemdiagnostikk når ruting konfigureres.

Hvor diagnostikk kan sendes

Emitteren støtter følgende destinasjoner:

Alle destinasjoner bruker samme spark.synapse.diagnostic.emitter konfigurasjonsmønster, med destinasjonsspesifikke verdier.

Du kan konfigurere én eller flere destinasjoner, avhengig av dine operative behov.

Log Intake API sammenlignet med Data Collector API

For Azure Log Analytics er Log Ingestion API den anbefalte modellen. Sammenlignet med HTTP Data Collector API tilbyr den:

  • Eksplisitt skjemakartlegging gjennom Data Collection Rules (DCR).
  • Routing- og endepunktskontroller gjennom Data Collection Endpoints (DCEs).
  • Autentisering med tjenestehovedklientens hemmelighet eller sertifikat.

Hvis du for øyeblikket bruker HTTP Data Collector API, migrer til Log Ingestion API for fremtidssikker Spark-observabilitet.

For kun eldre referanser, se Monitor Apache Spark applications with Azure Log Analytics.

Relatert innhold

  • Last updated on