Hantera bibliotek i Fabric miljöer

Microsoft Fabric miljöer ger flexibel konfiguration för att köra Spark-jobb. Bibliotek ger återanvändbar kod för notebook-filer och Spark-jobbdefinitioner. Förutom inbyggda bibliotek som medföljer varje Spark-körning kan du installera offentliga och anpassade bibliotek i Fabric miljöer.

Inbyggda bibliotek

I Fabric förinstalleras varje körningsversion med en kuraterad uppsättning inbyggda bibliotek som är optimerade för prestanda, kompatibilitet och säkerhet i Python, R, Java och Scala. På sidan Inbyggda bibliotek i miljön kan du bläddra bland och söka i dessa förinstallerade bibliotek baserat på den valda körningen.

Dessa bibliotek installeras som standard i varje miljö och kan inte ändras. De blir tillgängliga om du kör din notebook- eller Spark-jobbdefinition i den här miljön.

Om du vill visa listan över förinstallerade paket och deras versioner för varje körning läser du Apache Spark-körningar i Fabric.

Externa lagringsplatser

Du kan lägga till bibliotek från offentliga lagringsplatser som PyPI, Conda och Maven eller från privata lagringsplatser. Alternativen för käll- och publiceringsläge varierar beroende på lagringsplatstyp. När du lägger till ett bibliotek väljer du ett publiceringsläge (Fullständig eller Snabb). Mer information om hur varje läge fungerar finns i Välj publiceringsläge för bibliotek.

Lägga till ett bibliotek från en offentlig Python-lagringsplats

Med offentliga lagringsplatser kan du installera paket från PyPI eller Conda.

1. På fliken Externa lagringsplatser väljer du Lägg till bibliotek.

2. Välj Lägg till bibliotek från den offentliga lagringsplatsen.

3. Välj källan (PyPI eller Conda).

4. Ange biblioteksnamnet i sökrutan. När du skriver föreslår sökrutan populära bibliotek, men listan är begränsad. Om du inte ser ditt bibliotek anger du dess fullständiga namn.

   

   Om biblioteksnamnet hittas ser du de tillgängliga versionerna.

5. Välj versionen och spara och publicera sedan din miljö.

Lägga till bibliotek från Maven

Fabric stöder installation av bibliotek direkt från Maven-lagringsplatser. Det gör du genom att skapa en POM-fil som visar de Maven-beroenden som du vill installera och ladda upp den till miljön.

1. På fliken Externa lagringsplatser väljer du Importera pom.xml.

2. Välj filen pom.xml från din lokala katalog.

Lägga till ett bibliotek från en privat lagringsplats

Med privata lagringsplatser kan du installera paket med pip eller conda.

1. På fliken Externa lagringsplatser väljer du Lägg till bibliotek.

2. Välj Lägg till bibliotek från den privata lagringsplatsen.

3. Välj källan (pip eller conda).

4. Ange bibliotekets namn och version. Kontrollera att du anger bibliotekets namn och version korrekt eftersom det inte stöds att söka efter bibliotek i privata lagringsplatser när du skriver. Felaktig paketinformation gör att publiceringen misslyckas.

Lägga till bibliotek från en Azure artefaktfeed

Azure artefaktfeeds kan begränsas till antingen ett projekt (privat) eller en organisation (offentlig). Fabric stöder båda omfången. Oavsett feedens synlighet i Azure DevOps ansluter Fabric alltid via en autentiserad Data Factory-anslutning, så du måste konfigurera en anslutning även för offentliga feeds.

Konfigurera en anslutning för ditt Azure-Artefakt-flöde

Miljön lagrar inte autentiseringsuppgifter direkt. I stället skapar du en anslutning via Data Factory Connector och refererar till den med anslutnings-ID i en YML-fil. Läs mer om Azure Artifacts Feed.

1. Välj kugghjulsikonen Settings längst upp till höger i Fabric-portalen och välj sedan Hantera anslutningar och gatewayer.

   

2. Skapa en ny anslutning. Välj + Ny och välj sedan Cloud som typ och välj Azure Artefaktflöde (förhandsversion) som anslutningstyp.

   

3. Ange feed-URL:en och en personlig åtkomsttoken (PAT) med omfånget Paketeringsläsning>.

4. Välj Tillåt artefakter av typen Code-First, som Notebooks, för att komma åt den här anslutningen (Förhandsversion).

   

5. Välj Skapa för att spara anslutningen. Du bör se den i anslutningslistan.

6. Registrera anslutnings-ID:t när du har skapat det. Du behöver det i nästa steg.

Förbereda och ladda upp en YML-fil

Skapa en YML-fil som visar de paket som du vill installera och refererar till anslutnings-ID:t i stället för feed-URL:en och autentiseringsuppgifterna. Fabric använder anslutnings-ID:t för att autentisera och hämta paket från feeden vid publiceringstillfället.

En standardkonfiguration av pip refererar direkt till feed-URL:en och autentiseringsuppgifterna:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

För Fabric ersätter du URL:en med det anslutnings-ID som du registrerade tidigare:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Ladda upp YML-filen direkt till miljön eller växla till YML-redigerarvyn och klistra in innehållet. När du publicerar miljön läser Fabric paketen från feeden och lagrar dem. När du uppdaterar paket i ditt Azure Artefaktflödet, publicera miljön igen för att hämta de senaste versionerna.

Hantera externa bibliotek

När du har lagt till externa bibliotek kan du hantera dem från avsnittet Externa lagringsplatser .

• Filter – Använd ett paketnamn som nyckelord för att filtrera listan med externa bibliotek.
• Uppdatera – Välj ett bibliotek för att uppdatera dess namn, version eller källtyp i listvyn. I YML-redigeringsvyn kan du också uppdatera anslutnings-ID:t för Azure Artefaktflöde.
• Ta bort – Hovra över en biblioteksrad för att se alternativet Ta bort eller välj flera bibliotek och välj sedan Ta bort. Du kan också ta bort bibliotek med hjälp av YML-redigeringsvyn.
• Visa beroenden – Hovra över ett offentligt lagringsplatsbibliotek och välj Visa beroenden för att hämta dess beroendeträd. Beroendeinformation är inte tillgänglig för privata bibliotek eller bibliotek från ett Azure-artifaktflöde.
• Exportera till .yml – Exportera den fullständiga externa bibliotekslistan till en .yml fil och ladda ned den till din lokala katalog.

Anpassade bibliotek

Anpassade bibliotek refererar till kod som skapats av dig eller din organisation. Fabric stöder anpassade biblioteksfiler i formaten .whl, .py, .jar och .tar.gz. Precis som med externa bibliotek väljer du ett publiceringsläge (fullständig eller snabb) när du laddar upp anpassade paket. Mer information finns i Välj publiceringsläge för bibliotek.

Använd knapparna Ladda upp och ladda ned på sidan Anpassade bibliotek för att lägga till bibliotek från din lokala katalog eller ladda ned dem lokalt.

Om du vill ta bort ett bibliotek hovrar du över raden och väljer papperskorgsikonen eller väljer flera bibliotek och väljer sedan Ta bort.

Välj publiceringsläge för bibliotek

När du lägger till externa eller anpassade bibliotek väljer du ett publiceringsläge. Fullständigt läge är tillgängligt för alla bibliotekskällor och arbetsbelastningstyper. Snabbläge är tillgängligt för offentliga lagringsplatser och de flesta anpassade biblioteksformat, men bara när notebook-filer körs.

I följande tabell visas vilket publiceringsläge som varje bibliotekskälla stöder.

Välj rätt läge för dina behov

Använd beroendekomplexitet och arbetsbelastningstyp för att bestämma vilket läge som passar.

• Fullständigt läge löser beroenden, validerar kompatibiliteten och skapar en stabil ögonblicksbild av biblioteket under publiceringen. Ögonblicksbilden distribueras när en ny session startar. Bäst för större beroendeuppsättningar (till exempel fler än 10 paket), produktionsmiljöer och pipelines. Publiceringen tar vanligtvis 3 till 6 minuter; sessionsstarten lägger till 1 till 3 minuter för beroendedistribution, beroende på beroendestorlek. Om du vill behålla en stabil ögonblicksbild och uppnå cirka 5-sekunders session-startar använder du Fullt läge tillsammans med en anpassad livepool.
• Snabbläget hoppar över beroendebearbetningen under publiceringen och installerar paket vid start av notebook-sessionen i stället. Bäst för lättare beroendeuppsättningar, snabb iteration och tidiga experiment. Publiceringen slutförs om cirka 5 sekunder. biblioteksinstallationen sker vid sessionsstart.

Du kan blanda lägen under utvecklingen. Ett vanligt mönster är att iterera i snabbläge och sedan flytta verifierade beroenden till fullständigt läge för en stabil produktionsögonblicksbild. Du kan också behålla en befintlig ögonblicksbild i fullständigt läge oförändrad och lagra nya testpaket i snabbläge – ögonblicksbilden i fullständigt läge distribueras först och sedan installeras snabblägespaket ovanpå.

Lägesbegränsningar och beteende

Tänk på dessa begränsningar när du arbetar med publiceringslägen.

• Snabbläge fungerar bara med notebook-filer, inte Spark-jobbdefinitioner.
• Om du vill flytta ett anpassat bibliotek mellan lägen laddar du ned filen, tar bort den från det aktuella läget och laddar sedan upp den till målläget. Direktöverföringar mellan lägen stöds inte.
• Installationsloggar visas inte i notebook-filen. Använd Övervakning (nivå 2) för att spåra förlopp och felsökning.
• När båda lägena innehåller paket tillämpas snapshoten i fullständigt läge först. Snabblägespaket installeras ovanpå och åsidosätter alla paket i fullständigt läge med samma namn.
• När dubbletter av paket finns i olika lägen, ersätter versioner i snabbläge versioner i fullständigt läge endast för den aktuella notebook-sessionen. Om du startar en ny session tillämpas ögonblicksbilden i fullständigt läge igen först och sedan installeras snabblägespaket ovanpå.
• Snabblägespaket installeras när den första kodcellen för det språket körs. Till exempel Python paket installeras när den första Python cellen körs och R-paket installeras när den första R-cellen körs.

Relaterat innehåll

• Skapa, konfigurera och använda en miljö i Fabric
• Hantera Apache Spark-bibliotek i Fabric