Hallinnoi kirjastoja Fabric-ympäristöissä

Microsoft Fabric -ympäristöt tarjoavat joustavan konfiguroinnin Spark-töiden ajamiseen. Kirjastot tarjoavat uudelleenkäytettävää koodia muistikirjoille ja Spark-tehtävämäärittelyille. Sisäänrakennettujen kirjastojen lisäksi, jotka tulevat jokaisen Spark-ajontimen mukana, voit asentaa julkisia ja mukautettuja kirjastoja Fabric-ympäristöihin.

Sisäänrakennetut kirjastot

Fabric-versiossa jokainen ajonaikainen versio on valmiiksi ladattu valikoidulla sisäänrakennetun kirjastosarjan kanssa, jotka on optimoitu suorituskyvyn, yhteensopivuuden ja turvallisuuden kannalta Python-, R-, Java- ja Scala-yhteensopivuuden osalta. Ympäristön Built-in libraries -sivu antaa sinun selata ja hakea näitä valmiiksi asennettuja kirjastoja valitun ajonajan perusteella.

Nämä kirjastot asennetaan oletuksena kaikkiin ympäristöihin, eikä niitä voi muuttaa. Ne ovat käytettävissä, jos ajat muistikirjasi tai Spark-työn määrittelyn tässä ympäristössä.

Esiasennettujen pakettien ja niiden versioiden listan näkemiseksi kullekin ajonaikalle katso Apache Spark -suoritusajat Fabric.

Ulkoiset tietovarastot

Voit lisätä kirjastoja julkisista arkistoista kuten PyPI, Conda ja Maven tai yksityisistä repositorioista. Lähde- ja julkaisutilavaihtoehdot vaihtelevat varastotyypin mukaan. Kun lisäät kirjaston, valitset julkaisutilan (Full tai Quick). Lisätietoja siitä, miten kukin tila toimii, löydät osoitteesta Valitse julkaisutila kirjastoille.

Lisää kirjasto julkisesta Python-repositoriosta

Julkisissa repositorioissa voi asentaa paketteja PyPI:stä tai Condasta.

1. Ulkoiset varastot -välilehdeltä valitse Lisää kirjasto.

2. Valitse Lisää kirjasto julkisesta tietovarastosta.

3. Valitse lähde (PyPI tai Conda).

4. Syötä kirjaston nimi hakukenttään. Kirjoittaessasi hakukenttä viittaa suosittuihin kirjastoihin, mutta lista on rajallinen. Jos et näe kirjastoasi, syötä sen koko nimi.

   

   Jos kirjaston nimi löytyy, näet saatavilla olevat versiot.

5. Valitse versio ja tallenna sekä julkaise ympäristösi.

Lisää kirjasto Mavenista

Fabric tukee kirjastojen asentamista suoraan Maven-repositorioista. Tätä varten luo POM-tiedosto , joka listaa haluamasi Maven-riippuvuudet ja lataa se Ympäristöön.

1. Ulkoiset varastot -välilehdellä valitse Tuo pom.xml.

2. Valitse pom.xml-tiedosto paikallisesta hakemistosta.

Lisää kirjasto yksityisestä arkistosta

Yksityiset repositoriot mahdollistavat pakettien asentamisen pip- tai conda-koodilla.

1. Ulkoiset varastot -välilehdeltä valitse Lisää kirjasto.

2. Valitse Lisää kirjasto yksityisestä varastosta.

3. Valitse lähde (pip tai conda).

4. Syötä kirjaston nimi ja versio. Varmista, että syötät kirjaston nimen ja version tarkasti, sillä kirjastojen hakeminen yksityisissä arkistoissa kirjoittamisen aikana ei ole tuettua. Virheelliset pakettitiedot aiheuttavat julkaisun epäonnistumisen.

Lisää kirjastoja Azure-artefaktisyötteestä

Azure Artifact Feeds voidaan rajata joko projektiin (yksityinen) tai organisaatioon (julkinen). Fabric tukee molempia tähtäimiä. Riippumatta syötteen näkyvyydestä Azure DevOps:ssa, Fabric yhdistyy aina todennuksella varustetun Data Factory -yhteyden kautta, joten yhteys täytyy perustaa myös julkisia syötteitä varten.

Luo yhteys Azure Artifact Feedille

Ympäristö ei tallenna tunnuksia suoraan. Sen sijaan luot yhteyden Data Factory Connectorin kautta ja viittaat siihen yhteystunnuksella YML-tiedostossa. Lue lisää Azure Artfact Feedistä.

1. Valitse Settings rattaiskuvake Fabric-portaalin oikeasta yläkulmasta ja valitse sitten Hallinnoi yhteyksiä ja portteja.

   

2. Luo uusi yhteys. Valitse + New ja valitse sitten Cloud tyypiksi ja valitse Azure Artifact Feed (Preview) yhteystyypiksi.

   

3. Syötä syötteen URL-osoite ja henkilökohtainen pääsytunnus (PAT) Packaging > Read scopella.

4. Valitse Salli Code-First artefaktit, kuten muistikirjat, päästäksesi tähän yhteyteen (esikatselu).

   

5. Valitse Luo tallentaaksesi yhteyden. Sinun pitäisi nähdä se yhteyslistalla.

6. Tallenna yhteystunnus luomisen jälkeen. Tarvitset sitä seuraavassa vaiheessa.

Valmistele ja lataa YML-tiedosto

Luo YML-tiedosto, joka listaa asennettavat paketit ja viittaa yhteystunnukseen syötteen URL-osoitteen ja tunnistetietojen sijaan. Fabric käyttää yhteys-ID:tä todentaakseen ja hakeakseen paketteja syötteestäsi julkaisuaikana.

Tavallinen pip-konfiguraatio viittaa suoraan syötteen URL-osoitteeseen ja tunnuksiin:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

Fabric:lle korvaa URL aiemmin tallentamallasi yhteystunnuksella:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Lataa YML-tiedosto suoraan ympäristöön tai vaihda YML-editorinäkymään ja liitä sisältö. Kun julkaiset ympäristön, Fabric lukee syötteesi paketit ja säilyttää ne. Jos päivität paketteja Azure Artfact Feedissä, julkaise ympäristön uudelleen saadaksesi uusimmat versiot.

Hallinnoi ulkoisia kirjastoja

Kun olet lisännyt ulkoiset kirjastot, voit hallita niitä Ulkoiset varastot -osiosta.

• Suodatin – Käytä paketin nimeä avainsanana ulkoisten kirjastojen listan suodattamiseen.
• Päivitys – Valitse kirjasto päivittääksesi sen nimen, version tai lähdetyypin Listanäkymässä. YML-editorinäkymässä voit myös päivittää Azure Artifact Feed -yhteystunnuksen.
• Delete – Vie hiiri kirjastorivin päälle nähdäksesi Delete-vaihtoehdon, tai valitse useita kirjastoja ja valitse sitten Delete. Voit myös poistaa kirjastoja käyttämällä YML-editorinäkymää.
• Näytä riippuvuudet – Vie hiiri julkisen tietovarastokirjaston päälle ja valitse Näytä riippuvuudet hakeaksesi sen riippuvuuspuun. Riippuvuustietoja ei ole saatavilla yksityisissä kirjastoissa tai Azure-artefaktisyötteen kirjastoissa.
• Vie .yml – Vie koko ulkoinen kirjastoluettelo tiedostoksi .yml ja lataa se paikalliseen hakemistoosi.

Mukautetut kirjastot

Mukautetut kirjastot viittaavat sinun tai organisaatiosi luomaan koodiin. Fabric tukee mukautettuja kirjastotiedostoja .whl, .py, .jar ja .tar.gz -formaateissa. Kuten ulkoisissa kirjastoissa, valitset julkaisutilan (Full tai Quick) kun lataat mukautettuja paketteja. Lisätietoja löytyy osoitteesta Valitse julkaisutila kirjastoille.

Käytä Mukautetut kirjastot -sivun Lataa ja lataa -painikkeita lisätäksesi kirjastoja paikallisesta hakemistosta tai ladata ne paikallisesti.

Poistaaksesi kirjaston, vie hiiri sen rivin päälle ja valitse roskakorikuvake tai valitse useita kirjastoja ja valitse sitten Poista.

Valitse julkaisutila kirjastoille

Kun lisäät ulkoisia tai mukautettuja kirjastoja, valitset julkaisutilan. Täysi tila on saatavilla kaikille kirjastolähteille ja työkuormatyypeille. Pikatila on saatavilla julkisissa arkistoissa ja useimmissa mukautetuissa kirjastomuodoissa, mutta vain muistikirjojen käytössä.

Seuraava taulukko näyttää, mitä julkaisutilaa kukin kirjastolähde tukee.

Valitse tarpeisiisi sopiva tila

Käytä riippuvuusmonimutkaisuutta ja työkuormatyyppiä päättääksesi, mikä tila sopii.

• Täysi tila ratkaisee riippuvuuksia, validoi yhteensopivuuden ja luo vakaan kirjastokuvan julkaisun aikana. Tämä tilannekuva otetaan käyttöön, kun uusi istunto alkaa. Paras suurempiin riippuvuusjoukkoihin (esimerkiksi yli 10 pakettia), tuotantokuormille ja putkistoille. Julkaisu kestää tyypillisesti 3–6 minuuttia; Istunnon käynnistys lisää riippuvuuden käyttöönottoon 1–3 minuuttia riippuen riippuvuuden koosta. Jotta saat vakaan snapshotin ja noin 5 sekunnin session aloitukset, käytä Täysi-tilaa yhdessä mukautetun live-poolin kanssa.
• Pikatila ohittaa riippuvuuskäsittelyn julkaisun aikana ja asentaa paketit muistikirjan istunnon käynnistyessä. Paras kevyempiin riippuvuussarjoihin, nopeaan iterointiin ja varhaisvaiheen kokeiluihin. Julkaisu valmistuu noin 5 sekunnissa; Kirjaston asennus tapahtuu istunnon alussa.

Voit sekoittaa tiloja kehityksen aikana. Yleinen tapa on iteroida pikatilassa ja siirtää validoidut riippuvuudet täyteen tilaan vakaan tuotantotilan saamiseksi. Voit myös pitää olemassa olevan täyden tilan snapshotin muuttumattomana ja kerrostaa uusia testipaketteja pikatilassa — full mode snapshot julkaistaan ensin, sitten quick mode -paketit asennetaan päälle.

Tilan rajoitukset ja käyttäytyminen

Pidä nämä rajoitukset mielessä, kun työskentelet julkaisutilojen kanssa.

• Pikatila toimii vain muistikirjojen kanssa, ei Spark-tehtävien määrittelyillä.
• Siirtääksesi mukautettua kirjastoa tilojen välillä, lataa tiedosto, poista se nykyisestä tilasta ja lataa sitten kohdetilaan. Suoria siirtoja tilojen välillä ei tueta.
• Asennuslokit eivät näy muistikirjassa. Käytä seurantaa (taso 2) edistymisen seuraamiseen ja vianetsintään.
• Kun molemmissa tiloissa on paketteja, koko tilan snapshot otetaan käyttöön ensin. Pikatilapaketit asennetaan päälle ja ohittavat kaikki samannimisen full mode -paketit.
• Kun kaksoispaketteja on eri tilojen välillä, pikatilaversiot ohittavat Full mode -versiot vain nykyisessä notebook-istunnossa. Uuden istunnon aloittaminen palauttaa ensin Full mode snapshotin, sitten Quick mode -paketit asennetaan päälle.
• Pikatilapaketit asennetaan, kun kyseisen kielen ensimmäinen koodisolu käynnistyy. Esimerkiksi Python-paketit asennetaan, kun ensimmäinen Python-solu käynnistyy, ja R-paketit asennetaan, kun ensimmäinen R-solu käynnistyy.

Liittyvä sisältö

• Luo, konfiguroi ja käytä ympäristöä Fabric
• Hallinnoi Apache Spark -kirjastoja Fabric