Anpassade livepooler i Microsoft Fabric

Gäller för:✅ Fabric datateknik och datavetenskap

Anpassade livepooler är förvärmda Spark-kluster som ger nästan omedelbar start av sessioner för notebook-baserade arbetsbelastningar i Microsoft Fabric. I stället för att vänta på klusteretablering vid varje körning håller anpassade livepooler kluster varma under ett konfigurerat schemafönster, vilket aktiverar starttider på 5 sekunder för dina interaktiva och schemalagda notebook-filer.

Varför använda anpassade livepooler

Standard Spark-sessioner i Fabric kräver klusterprovisionering varje gång en session startar. För team som kör frekventa notebook-filer – oavsett om de är interaktiva, schemalagda eller pipelineutlösta – kan den här etableringstiden bromsa iterationscyklerna och öka den totala jobbfördröjningen.

Anpassade livepooler hanterar detta genom att:

• Hydrering av kluster i förväg baserat på ett användardefinierat schema, så beräkningen är klar när arbetsbelastningarna anländer.
• Ge exakt kontroll över antalet kluster som hålls varma och miljön som används för bibliotekskonfiguration.
• Leverera konsekventa startprestanda (~5 sekunder) för alla notebook-sessionstyper som stöds under den schemalagda tidsperioden.

Anpassade livepooler kompletterar den befintliga startpoolen och anpassade Spark-pooler i Fabric.

Viktiga begrepp

Följande begrepp förklarar hur anpassade livepooler fungerar, inklusive hur kluster förbereds, när de är tillgängliga och hur kapacitets- och bibliotekskonfiguration hanteras.

Hydrering och uppvärmning

När du skapar och publicerar en anpassad livepool börjar Fabric återfukta kluster före det schemalagda fönstret. Hydrering innebär att kluster är helt etablerade, konfigurerade med den anslutna miljön och hålls varma tills en sessionsbegäran kommer.

Starttiden på ~5 sekunder är endast tillgänglig när poolen är helt hydratiserad. Under den inledande installationen eller omedelbart efter en konfigurationsändring kan sessioner uppleva längre starttider medan hydreringen slutförs. Felsökning finns i Hydrering tar längre tid än förväntat.

Schedules

Varje anpassad livepool kräver ett schema som definierar när poolen är aktiv. Kluster hålls endast varma under det schemalagda fönstret och fakturering sker endast när kluster allokeras. När schemat upphör att gälla eller ett kluster är inaktivt utöver det konfigurerade tröskelvärdet frigör Fabric det och faktureringen stoppas.

Planera dina scheman för att täcka dina förväntade arbetsbelastningstider så att arbete med uppvärmd beräkningskapacitet är tillgängligt när ditt team behöver det. Konfigurationssteg och metodtips finns i Konfigurera en livepool.

Miljöbilaga

Varje anpassad livepool är kopplad till en Fabric-miljö. Miljön styr vilka bibliotek som är förinstallerade på hydratiserade kluster. Om du vill uppdatera bibliotek måste du ändra och publicera miljön igen. Befintliga hydratiserade kluster uppdateras inte med de nya biblioteken förrän vid nästa schemalagda uppdatering eller en manuell uppdatering. Konfigurationssteg finns i Konfigurera en livepool.

Publiceringslägen för bibliotek

Bibliotekspubliceringsläget i den anslutna miljön avgör hur bibliotek levereras till hydratiserade kluster:

• Fullständigt läge: Biblioteken löses och bakas in i den hydratiserade klusteravbildningen under miljöpublicering. När en session startar finns ögonblicksbilden i Full-läge redan i klustret, vilket gör att sessioner startar på ungefär 5 sekunder. Använd fullständigt läge när du behöver en stabil, reproducerbar biblioteksuppsättning med snabbast möjliga start av sessionen.
• Snabbläge: Biblioteken är inte förinstallerade i hydratiserade kluster. I stället installeras de när notebook-sessionen startar. Hydratiserade kluster ger fortfarande snabb beräkningsallokering, men biblioteksinstallationen vid sessionsstart lägger till tid. Använd Snabbläge för snabb iteration under utveckling när biblioteksstabiliteten är mindre kritisk.

Klusterkapacitet

Varje pool har ett maximalt antal kluster som du anger under konfigurationen. Fabric skalar inte poolen automatiskt över denna gräns. När alla hydratiserade kluster används återgår ytterligare jobb till etablering på begäran, vilket tar cirka 3 till 5 minuter eller längre beroende på beroenden för bibliotekspaket. Mer information om storleksvägledning finns i Klusterstorlek.

Arbetsbelastningar som stöds

Anpassade livepooler stöder följande notebook-baserade Spark-sessionstyper:

• Interaktiva notebook-filer körs från Fabric-portalen
• Schemalagda notebook-körningar som konfigurerats i notebook-schemaläggaren
• Anteckningsbokskörningar som initieras av pipelines

Kapacitet och licensiering

Anpassade livepooler kräver en betald SKU för Microsoft Fabric-kapacitet. Kapaciteter för testning av Fabric stöds inte i nuläget.

Information om tillgängliga kapacitets-SKU:er finns i Begrepp och licenser för Microsoft Fabric.

Åtkomstkontroll

Rolltilldelningar för arbetsytor styr åtkomsten till anpassad konfiguration och status för livepooler:

B2B-gästanvändare måste tilldelas en explicit arbetsyteroll för att interagera med anpassade livepooler.

Begränsningar

Följande begränsningar gäller för anpassade livepooler i den aktuella versionen:

• Sessionerna startar endast om ~5 sekunder efter att poolen är helt hydratiserad. Under den inledande installationen eller när du har ändrat konfigurationen kan starttiden vara längre.
• Biblioteksändringar kräver ompublicering av den anslutna miljön. Hydratiserade kluster uppdateras inte automatiskt.
• När den anslutna miljön använder snabbläge för vissa bibliotek är dessa bibliotek inte förinstallerade på hydratiserade kluster och måste installeras när sessionen startas. För den snabbaste sessionsstarten med anpassade livepooler använder du Fullständigt läge för dina biblioteksberoenden.
• Endast notebook-baserade Spark-sessioner stöds. Spark-jobbdefinitioner stöds inte.
• Försökskapaciteter i Fabric stöds inte.
• Varje pool måste ha ett schema. Pooler utan schema kan inte publiceras.
• Anpassade livepooler kan inte hanteras via offentliga API:er för miljön eller CI/CD-pipelines. Konfigurationen måste utföras via Fabric-portalen.

Relaterat innehåll

• Konfigurera anpassade livepooler
• Hantera bibliotek i Fabric-miljöer
• Konfigurera startpooler
• Skapa anpassade Spark-pooler
• Skapa och använda en miljö