Fabric Apache Spark Diagnostic Emitter -yleiskatsaus

Fabric Apache Spark Diagnostic Emitter on yleisesti saatavilla Microsoft Fabricissa. Se tarjoaa yhtenäisen tavan kerätä Apache Spark -diagnostiikkaa ja reitittää ne Azure-kohteisiin seurantaa, vianmääritystä ja pitkäaikaista analyysiä varten.

Mitä diagnostinen lähetin kerää

Lähetin tukee neljää diagnostiikkavirtaa:

  • Spark-tapahtumalokit: Rakenteelliset Spark Engine -tapahtumat työ-, vaihe- ja tehtävien elinkaarelle.
  • Spark driver -lokit: Kirjaa Spark driver -prosessin tuloste.
  • Spark-suorittajan lokit: Lokitaan suoritusprosesseista tuloksia tehtävätason diagnostiikkaa varten.
  • Spark-mittarit: JVM-, executor- ja tehtävätason suorituskykymittarit.

Voit myös kirjoittaa mukautettuja sovelluslokkeja käyttämällä Apache Log4j:tä Scalassa ja PySparkissa. Nämä lokit lähetetään yhdessä järjestelmädiagnostiikan kanssa, kun reititys konfiguroidaan.

Mistä diagnostiikkaa voidaan lähettää

Lähetin tukee seuraavia kohteita:

Kaikki kohteet käyttävät samaa spark.synapse.diagnostic.emitter konfiguraatiomallia, mutta määränpääkohtaisilla arvoilla.

Voit konfiguroida yhden tai useamman kohteen operatiivisten tarpeidesi mukaan.

Log Ingestion API verrattuna Data Collector API:hin

Azure Log Analyticsille suositellaan Log Ingestion API:ta. Verrattuna HTTP Data Collector API:hen, se tarjoaa:

  • Eksplisiittinen skeemakuvaus tiedonkeruusääntöjen (DCR) avulla.
  • Reititys ja päätelaitteiden hallinta Data Collection Endpoints (DCE) -yksiköiden kautta.
  • Todennus palvelun päähenkilön asiakassalaisuuden tai varmenteen kanssa.

Jos käytät tällä hetkellä HTTP Data Collector API:ta, siirry Log Ingestion API:lle saadaksesi tulevaisuuden kestävän Spark-havaittavuuden.

Vain perintöviitteitä varten katso Monitor Apache Spark applications with Azure Log Analytics.

Liittyvä sisältö

  • Last updated on