Vad är Livy API för Data Engineering?

Gäller för:✅ Fabric Data Engineering och Data Science

Microsoft Fabric Livy API låter användare skicka och köra Spark-kod inom Spark-beräkning associerad med Fabric Lakehouse, vilket eliminerar behovet av att skapa artefakter som Notebook eller Spark-jobbdefinitioner. Den här integreringen med Lakehouse säkerställer enkel åtkomst till data som lagras på OneLake.

Funktioner

API:et Fabric Livy stöder följande jobbtyper:

  • Sessionsjobb – Ett Livy-sessionsjobb upprättar en Spark-session som förblir aktiv under interaktionen med Livy-API:et. Sessioner är användbara för interaktiva arbetsuppgifter. En session startar när ett jobb skickas och varar tills användaren avslutar det eller systemet avslutar det efter 20 minuters inaktivitet. Flera jobb kan köras inom en session, dela tillstånd och cachelagrade data mellan körningar.
  • Batchjobb – Ett Livy batchjobb skickar en Spark-applikation för en enda jobbkörning. Till skillnad från ett sessionsjobb upprätthåller inte ett batchjobb en pågående Spark-session. Varje jobb initierar en ny Spark-session som avslutas när jobbet är klart, vilket fungerar bra för uppgifter som inte förlitar sig på tidigare beräkningar eller kräver underhåll.
  • Sessioner med hög samtidighet – En session med hög samtidighet (HC) möjliggör samtidig Spark-körning genom att tillåta klienter att hämta flera oberoende körningskontexter. Varje HC-session mappar till en Spark REPL (Read-Eval-Print Loop) i en delad underliggande Livy-session som stöder parallell körning, förutsägbar resursanvändning och isolering mellan samtidiga begäranden. Mer information finns i High concurrency support in the Fabric Livy API.

Anmärkning

Stöd för hög samtidighet är additivt och ändrar inte befintliga Livy API-kontrakt. Befintliga Livy-sessions- och batcharbetsbelastningar fortsätter att fungera utan ändringar.

Kom igång med Livy API

Relaterat innehåll

  • Last updated on