Kerää lokit ja metriikat Azure Log Analytics -ohjelmalla

Tässä artikkelissa kuvataan Azure Log Analytics -kohde Fabric Apache Spark Diagnostic Emitterille Log Ingestion API:n avulla.

Fabric Apache Spark Diagnostic Emitter tarjoaa yhteisen konfiguraatiomallin Spark-diagnostiikkaan eri kohteissa. Azure Log Analytics -ohjelmassa Log Ingestion API on suositeltu vastaanottomalli.

Tässä artikkelissa näytetään, miten emitteriominaisuudet konfiguroidaan, reititetään Apache Spark -lokit, tapahtumalokit ja mittarit Log Analytics -palveluun sekä haetaan vastaanotettua dataa seurantaa ja vianetsintää varten.

Arkkitehtuurista ja kohteen valinnasta Fabric Apache Spark Diagnostic Emitterissä katso Fabric Apache Spark Diagnostic Emitter Overview.

Migraatio Data Collector API:sta

Jos käytät tällä hetkellä HTTP Data Collector API:a, siirry Log Ingestion API:lle vastaamaan nykyisiä Azure Monitor -vastaanottomalleja.

Keskeiset muutokset uudessa mallissa:

• Skeeman määritelmät ovat eksplisiittisiä Data Collection Rules (DCR) -sääntöjen kautta, jotka antavat ennustettavan skeeman validoinnin ja johdonmukaisemmat kyselytulokset kuin vanhempi vapaamuotoinen hyötykuormamenetelmä.
• Vastaanotto reititetään Data Collection Endpoints (DCE) -päätepisteiden (DCE) ja DCR-kartoitusten kautta, jotka tarjoavat hallitumman syöttöpolun kuin suoraan Data Collector API:n päätepisteelle lähettäminen.
• Tunnistautuminen tukee sekä palvelun pääasiallisen asiakassalaisuuden että varmennepohjaisia vaihtoehtoja.
• Emitterityyppi muuttuu arvosta AzureLogAnalytics arvoon AzureLogIngestion.

Migraatio sisältää tyypillisesti DCR- ja DCE-resurssien luomisen, Fabric-ympäristön Spark-ominaisuuksien päivittämisen sekä datan vastaanoton validoinnin mukautettuihin Log Analytics -tauluihin.

Log Ingestion API:n yleiskatsaus

Apache Spark -diagnostiikassa Microsoft Fabric -ohjelmassa Log Ingestion API tarjoaa rakenteellisen vastaanottomallin todennukseen, skeeman määrittelyyn, reititykseen ja taulujen toimitukseen Azure Log Analytics.

Keskeiset osat

Ohjelmalliseen vastaanottoon voidaan käyttää vain käyttäjien luomia DCR-tiedostoja, jotka on konfiguroitu Log Ingestion API:lle.

Vaiheittainen määritys

Vaihe 1. Prepare Log Analytics workspace

Log Analytics -työtila vaaditaan vastaanottamaan Spark-diagnostiikkaa. Se on perustallennus- ja kyselyyksikkö Azure Monitor Logs:lle.

Jos sinulla ei ole sellaista, luo Log Analytics-työtila Azure-portaaliin.

Vaihe 2. Luo tiedonkeruun päätepiste (DCE)

Luo Data Collection Endpoint (DCE) Azure-portaalissa. DCE tarjoaa päätepisteen URI:n, jonka konfiguroit Spark-ominaisuuksissa Log Ingestion API:lle. DCE:n alueen on oltava sama kuin Log Analytics -työtilan alue.

1. Azure-portaalissa siirry vasemman navigointipaneelin Monitor sivuun.

2. Asetuksista valitse Datan keräyspäätepisteet ja sitten Luo.

   

3. Luo päätepiste ja merkitse DCE-nimi (esim. DCEdemo).

Vaihe 3. Valmistele näyte JSON-skeemaa

Kun luot omia lokitauluja, sinun täytyy konfiguroida Data Collection Rule (DCR). DCR:ssä määriteltyjen tietovirran määritelmien perusteella järjestelmä generoi automaattisesti vastaavan taulukkoskeeman Log Analytics -työtilassasi.

Seuraava ennalta määritelty JSON-skeema näyttelee jokaisen kuvauksen tiettyyn tietotyyppiin. Lataa esimerkki, joka sopii skenaarioosi, ja lataa se, kun luot siihen liittyvän mukautetun taulukon ja DCR:n.

• Spark-tapahtumalokit – Tapahtumataulun JSON-skeemanäyte
• Spark-ajurin ja suorittajan lokit – Lokitaulukko JSON-skeemanäyte
• Kipinämittarit – Metriikkataulukko JSON-skeemanäyte
• Alustan metatiedot - Alustan metatietotaulukko JSON-skeemanäyte

Tässä on esimerkki lokitaulun JSON-skeemasta Spark-ajuri- ja suorituslokeille Azure Log Analytics -ohjelmassa. Käytä tätä skeemaa viitteenä luodessasi omia taulukoita ja DCR:iä lokien vastaanottoa varten.

[
  {
    "applicationId_s": "<APPLICATION_ID>",
    "applicationName_s": "<NOTEBOOK_NAME>",
    "artifactId_g": "<ARTIFACT_GUID>",
    "artifactType_s": "SynapseNotebook",
    "capacityId_g": "<CAPACITY_GUID>",
    "Category": "Log",
    "executorId_s": "driver",
    "executorMax_s": 9,
    "executorMin_s": 1,
    "ExtraFields": {
      "Category": "Log",
      "JobId": "1"
    },
    "fabricEnvId_g": "<FABRIC_ENV_GUID>",
    "fabricLivyId_g": "<FABRIC_LIVY_GUID>",
    "fabricTenantId_g": "<FABRIC_TENANT_GUID>",
    "fabricWorkspaceId_g": "<FABRIC_WORKSPACE_GUID>",
    "isHighConcurrencyEnabled_s": false,
    "Level": "INFO",
    "logger_name_s": "org.apache.spark.scheduler.dynalloc.ExecutorMonitor",
    "Message": "Executor 1 is removed.",
    "thread_name_s": "spark-listener-group-executorManagement",
    "TimeGenerated": "<TIME_GENERATED>",
    "userId_g": "<USER_ID>"
  }
]

Vaihe 4. Luo oma taulukko (Direct Ingest)

Luo oma taulukko Log Analytics -työtilaasi Log Ingestion API -vaihtoehdolla ja lataa JSON-skeemanäyte liitännäiseen DCR:ään. Tämä vaihe vaaditaan Spark-diagnostiikan kohteen määrittämiseksi ja varmistaakseen, että vastaanotettu data noudattaa odotettua kaaviota. Log Analytics -työtilan, DCE:n ja DCR:n, alueen on oltava sama, jotta vastaanotto onnistuu.

1. Azure-portaalissa avaa Log Analytics työtilasi (esimerkiksi loganalyticsworkspacedemo).

2. Valitse taulukot>Luo>uusi mukautettu loki (Direct Ingest).

   

3. Taulukon asetukset tulevat:

   • Taulukon nimi: Esimerkiksi SparkLogTest (pääte "_CL" lisätään automaattisesti).
   • Pöytäsuunnitelma: Analytiikka
   • Tietojen keruusääntö: Luo uusi DCR (esimerkiksi SparkLogTestrule).
   • Data Collection Endpoint: Valitse DCE Create a Data Collection Endpoint (DCE) -vaiheesta (esim. DCEdemo).

   

4. Valitse Seuraava.

5. Skeemassa ja muunnoksessa lataa JSON-skeemanäyte. DCR-muunnosta ei tarvitse konfiguroida, koska skeema on täysin vakautunut asiakaspuolella.

Vaihe 5. Valmistele palveluperiaate todennukseen

1. Rekisteröi sovellus Microsoft Entra ID.

   

2. Tallenna TenantId, ClientID ja ClientSecret (jos käytät asiakassalaisuutta). Näitä arvoja käytetään Spark-konfiguraatiossa vaiheessa 6.

3. Myönnä sovellukselle Monitoring Metrics Publisher rooli jokaisen pöydän DCR-resurssissa. Roolien jakovaiheista katso Assign Azure roles using the Azure portal.

   

Vaihe 6. Säädä Spark-ominaisuudet

Sparkin konfigurointia varten luo ympäristö Fabric-ohjelmaan ja valitse jokin seuraavista todennusvaihtoehdoista. Käytä vain yhtä vaihtoehtoa tietylle emitterille.

Fabric-ympäristö tallentaa Spark-asetukset ja kirjastot, joita muistikirjat ja Spark-tehtävämäärittelyt käyttävät ajonaikaisesti. Luomisvaiheet ovat kohdalla Luo, konfiguroi ja käytä ympäristöä Fabric.

• Valitse vaihtoehto 1 , jos haluat yksinkertaisemman asetelman käyttämällä asiakassalaisuutta.
• Valitse Vaihtoehto 2 jos organisaatiosi vaatii varmennepohjaista todennusta ja keskitettyä varmentinhallintaa Azure Key Vault.

Molemmissa vaihtoehdoissa voit valita Lisää ympäristöstä .yml tuodaksesi konfiguraatiotiedoston .yml .

Vaihtoehto 1: Määritä palvelupäähenkilön ja asiakassalaisuuden mukaan

Käytä tätä vaihtoehtoa nopeaan käyttöönottoon palvelupäähenkilön tunnuksilla ja asiakassalaisuudella.

1. Luo ympäristö Fabric:iin.

2. Lisää seuraavat Spark-ominaisuudet sopivilla arvoilla ympäristöön tai valitse Lisää nauhasta .yml tuodaksesi konfiguraatiotiedoston .yml .

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metaDcr: <META_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metaStream: <META_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <SP_CLIENT_SECRET>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.fabric.pools.skipStarterPools: 'true'
   

3. Tallenna ja julkaise muutokset.

Vaihtoehto 2: Konfiguroi palvelupään varmenteen todennus

Käytä tätä vaihtoehtoa, kun organisaatiosi vaatii sertifikaattipohjaista tunnistautumista.

Ennen kuin aloitat, varmista, että palvelupäällikkösi on luotu todistuksen kanssa. Lisätietoja löytyy kohdasta Luo palvelupäähenkilö, joka sisältää varmenteen käyttäen Azure CLI.

1. Luo ympäristö Fabric:iin.

2. Lisää seuraavat Spark-ominaisuudet sopivilla arvoilla ympäristöön tai valitse Lisää nauhasta .yml tuodaksesi konfiguraatiotiedoston .yml .

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metaDcr: <META_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metaStream: <META_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: <SP_CERT-NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: https://<KEYVAULT_NAME>.vault.azure.net/
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.fabric.pools.skipStarterPools: 'true'
   

3. Tallenna ja julkaise muutoksia.

Vaihe 7. Liitä ympäristö muistikirjoihin tai Spark-työn määrittelyihin, tai aseta se työtilan oletusarvoksi

Käytä jotakin seuraavista lähestymistavoista oman laajuutesi mukaan:

• Liitä ympäristö tiettyihin muistikirjoihin tai Spark-tehtävämäärittelyihin, kun haluat kohdennettua käyttöönottoa, testausta tai yksittäistä ohjausta.
• Aseta ympäristö työtilan oletuksena, kun haluat yhtenäiset Spark-diagnostiikka-asetukset koko työtilalle.

Ympäristön liittämiseksi muistikirjoihin tai Spark-työmääritelmiin:

1. Siirry muistikirjaasi tai Spark-työtehtävämäärittelyyn Fabric-ohjelmassa.
2. Valitse Ympäristö-valikko Aloitus-välilehdestä ja valitse määritetty ympäristö.
3. Määritystä käytetään Spark-istunnon aloittamisen jälkeen.

Ympäristön asettamiseksi työtilan oletusarvoksi:

1. Siirry Fabric-työkalun Workspace-asetuksiin.
2. Etsi Spark-asetukset työtilan asetuksista (Workspace settings>Data Engineering/Science>Spark settings).
3. Valitse Ympäristö-välilehti , valitse ympäristö, jossa on määritetty diagnostiikan spark-ominaisuudet, ja valitse Tallenna.

Vaihe 8. Aja Spark-työkuormat ja varmista lokit ja mittarit

Käytä edellisessä osiossa luomaasi ja liittämääsi ympäristöä, aja sitten Spark-työkuormat ja varmista vastaanotto Log Analytics:ssa.

1. Suorita Spark-työkuormat käyttämällä edellisessä osiossa määritettyä ympäristöä. Voit käyttää jotakin seuraavista tavoista:
   • Aja muistikirja Fabric-ohjelmassa.
   • Lähetä Spark-erätyö Spark-työn määritelmän kautta.
   • Johda Spark-aktiviteetteja putkessa.
2. Avaa kohde-Log Analytics -työtila ja varmista, että lokit ja mittarit otetaan käyttöön käynnissä olevalle työkuormalle.
3. Vastaanoton validointiin ja tietueiden tarkastukseen käytä Kuston esimerkkejä Kyselydatasta Kustolla.

Mukautettujen sovelluslokien kirjoittaminen

Käytä räätälöityjä sovelluslokeja, kun haluat liiketoimintatason tai sovelluskohtaisia tapahtumia alustadiagnostiikan lisäksi. Nämä lokit lähetetään saman diagnostiikkaputken kautta ja ne näkyvät Log Analytics -ohjelmassa yhdessä Spark-lokit, tapahtumalokien ja mittareiden kanssa.

Käytä Apache Log4j Spark-koodissasi lähettääksesi omia lokiviestejä. Seuraavat esimerkit osoittavat minimikuvion Scalalle ja PySparkille.

Scala-esimerkki:

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

PySpark-esimerkki:

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Tietojen kyseleminen Kustolla

Käytä Kusto-kyselyjä varmistamaan, että vastaanotto toimii, ja tutkiaksesi Sparkin suorituskäyttäytymistä. Korvaa paikkamerkkiarvot, kuten {FabricWorkspaceId}, {ArtifactId}, ja {LivyId} omalla suorituksellasi.

Aloita tapahtuma- ja lokikyselyillä datan saapumisen varmistamiseksi, ja käytä sitten metriikkakyselyitä suorituskyvyn analysointiin.

Kyselyn tekeminen Apache Spark -tapahtumista:

SparkEventTest_CL
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| order by TimeGenerated desc
| limit 100 

Kyselyn tekeminen Spark-sovellusohjaimen ja -suoritustiedoston lokeista:

SparkLogTest_CL
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| order by TimeGenerated desc
| limit 100 

Kyselyn tekeminen Apache Spark -mittareista:

SparkMetricsTest_CL
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| where name_s endswith "jvm.total.used"
| summarize max(value_d) by bin(TimeGenerated, 30s), executorId_s
| order by TimeGenerated asc

Alustan metatietojen kyselyyn:

SparkMetadataTest_CL 
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| order by TimeGenerated desc
| limit 100

Fabric-työtilat, joissa on hallittu virtuaaliverkko

Fabric-tuki mahdollistaa datan poiston suojauksen työtiloissa. Exfiltraatiosuojan ansiosta lokit ja mittarit eivät voi lähettää suoraan kohdepäätepisteisiin. Tässä tilanteessa voit luoda vastaavia hallittuja yksityisiä päätepisteitä eri kohdepäätepisteille.

Käytettävissä olevat Apache Spark -määritykset

Seuraava taulukko listaa Spark-konfiguraatiot lokien ja metriikoiden lähettämiseen Azure Log Analytics -sovellukseen Log Ingestion API:n avulla.

Liittyvä sisältö

• Apache Spark -työn määrityksen luominen
• Luo, konfiguroi ja käytä ympäristöä Microsoft Fabric
• Kehitä, suorita ja hallinnoi Microsoft Fabric muistikirjoja
• Spark-sovellusten valvonta
• Kerää Apache Spark -diagnostiikka Azure Event Hubs
• Kerää Apache Spark -diagnostiikkaa käyttämällä Azure Storage Accountia