Del via

Hva er Livy-API-en for Dataingeniør ing?

Gjelder for:✅ Fabric Data Engineering og Data Science

Microsoft Fabric Livy API lar brukere sende inn og kjøre Spark-kode i Spark-beregning tilknyttet en Fabric Lakehouse, noe som eliminerer behovet for å lage Notebook- eller Spark Job Definition-artefakter. Denne integreringen med Lakehouse sikrer enkel tilgang til data som er lagret på OneLake.

Funksjoner

Fabric Livy API støtter følgende jobbtyper:

  • Sesjonsjobber — En Livy-sesjonsjobb etablerer en Spark-økt som forblir aktiv gjennom hele interaksjonen med Livy-API-et. Sesjoner er nyttige for interaktive arbeidsbelastninger. En økt starter når en jobb sendes inn og varer til brukeren avslutter den eller systemet avslutter den etter 20 minutters inaktivitet. Flere jobber kan kjøres i en økt, og dele status og bufret data mellom kjøringene.
  • Batchjobber — En Livy batchjobb sender inn en Spark-applikasjon for én enkelt jobbutførelse. I motsetning til en session-jobb, opprettholder ikke en batch-jobb en pågående Spark-økt. Hver jobb starter en ny Spark-økt som avsluttes når jobben er ferdig, noe som fungerer godt for oppgaver som ikke er avhengige av tidligere beregninger eller krever vedlikehold av tilstand.
  • Økter med høy samtidighet — En økt med høy samtidighet (HC) muliggjør samtidig Spark-kjøring ved å la klienter tilegne seg flere uavhengige utførelseskontekster. Hver HC-økt kartlegges til en Spark REPL (Read-Eval-Print Loop) innenfor en delt underliggende Livy-økt, og støtter parallell utførelse, forutsigbar ressursbruk og isolasjon mellom samtidige forespørsler. For mer informasjon, se Høy samtidighetsstøtte i Fabric Livy API.

Bemerkning

Støtte for høy samtidighet er additiv og endrer ikke eksisterende Livy API-kontrakter. Eksisterende Livy-sesjoner og batch-arbeidsbelastninger fortsetter å fungere uten endringer.

Komme i gang med Livy-API-en

Relatert innhold

  • Last updated on