Jaa


Mukautetut live poolit Microsoft Fabricissa

Koskee:✅ Fabric-data-insinöörit ja datatiede

Mukautetut live-poolit ovat esilämmitettyjä Spark-klustereita, jotka mahdollistavat lähes välittömän istuntokäynnistyksen muistikirjapohjaisille työkuormille Microsoft Fabricissa. Sen sijaan, että odotettaisiin klusterin proquestia jokaisella ajokerralla, mukautetut live poolit pitävät klusterit lämpiminä määritellyn aikataulun aikana, mahdollistaen 5 sekunnin istuntojen aloitusajat interaktiivisille ja aikataulutetuille muistikirjoillesi.

Miksi käyttää räätälöityjä live-pooleja

Tavalliset Spark-istunnot Fabricissa vaativat klusteriproquestia joka kerta kun istunto alkaa. Tiimeille, jotka käyttävät usein muistikirjoja – olivatpa ne interaktiivisia, aikataulutettuja tai putkistoon laukaisevia – tämä provisiointiaika voi hidastaa iterointisyklejä ja lisätä kokonaisviivettä.

Mukautetut live-poolit käsittelevät tätä seuraavasti:

  • Nesteytys klustereita etukäteen käyttäjän määrittelemän aikataulun mukaan, joten laskenta on valmiina, kun työkuormat saapuvat.
  • Tämä mahdollisti tarkan hallinnan lämpimänä pidettävien klustereiden määrästä ja kirjaston konfigurointiympäristöstä.
  • Johdonmukaisen käynnistyssuorituskyvyn (~5 sekuntia) tarjoaminen kaikille tuetuille notebook-istuntotyypeille aikataulutetun ikkunan aikana.

Räätälöidyt live-poolit täydentävät olemassa olevaa aloituspoolia ja räätälöityjä Spark-allasvaihtoehtoja Fabricissa:

Laskentavaihtoehto Käynnistysaika Aikataulupohjainen Mukautetut kirjastot Tuetut kuormitukset
Starter-altaat 5–10 sekuntia (ilman kirjastoja) Ei Ei Muistikirjat, SJD
Räätälöidyt Spark-altaat ~1 min Ei Ympäristön kautta Muistikirjat, SJD
Räätälöidyt live-altaat ~5 sekunnista 10 sekuntiin (nesteytyksen jälkeen) Kyllä Ympäristön kautta Vain muistikirjat (interaktiiviset ja aikataulutettu)

Avainkäsitteet

Seuraavat käsitteet selittävät, miten mukautetut live-poolit toimivat, mukaan lukien miten klusterit valmistellaan, milloin ne ovat käytettävissä sekä miten kapasiteettia ja kirjaston konfiguraatiota hallitaan.

Nesteytys ja lämmittely

Kun luot ja julkaiset mukautetun live-poolin, Fabric alkaa kosteuttaa klustereita ennen aikataulutettua ikkunaa. Nesteytys tarkoittaa, että klusterit ovat täysin varustettuja, konfiguroituja liitettyyn ympäristöön ja pidetään lämpimänä, kunnes istuntopyyntö saapuu.

~5 sekunnin käynnistysaika on käytettävissä vasta, kun allas on täysin nesteytetty. Alkuvaiheen asennuksen aikana tai heti konfiguraation muutoksen jälkeen istunnot voivat kokea pidempiä käynnistysaja nesteytyksen valmistuessa. Vianetsinnästä katso Nesteytys kestää odotettua kauemmin.

Aikataulut

Jokainen mukautettu live-pooli vaatii aikataulun, joka määrittelee, milloin pooli on aktiivinen. Klusterit pidetään lämpiminä vain aikataulutetun ikkunan aikana, ja laskutus tapahtuu vain silloin, kun klustereita jaetaan. Kun aikataulu vanhenee tai klusteri on käyttämättömänä konfiguroidun kynnyksen yli, Fabric poistaa sen ja laskutus loppuu.

Suunnittele aikataulusi niin, että odotetut työmääräikkunat kattavat, jotta lämmin laskenta on käytettävissä, kun tiimisi sitä tarvitsee. Konfigurointivaiheet ja parhaat käytännöt löytyvät kohdasta Määritä live pool.

Ympäristökiinnitys

Jokainen räätälöity elävä allas on kiinnitetty Fabric-ympäristöön. Ympäristö ohjaa, mitkä kirjastot on valmiiksi asennettu hydratoituihin klustereihin. Kirjastojen päivittämiseksi sinun täytyy muokata ja julkaista ympäristö uudelleen. Olemassa olevat hydratoituneet klusterit eivät päivitetä uusien kirjastojen myötä ennen seuraavaa suunniteltua nesteytystä tai manuaalista päivitystä. Konfigurointivaiheita varten katso Määritä live pool.

Kirjaston julkaisutavat

Kirjaston julkaisutila liitetyssä ympäristössä määrittää, miten kirjastot toimitetaan hydratoituihin klustereihin:

  • Täysi tila: Kirjastot ratkaistaan ja sisällytetään hydratoituun klusterikuvaan ympäristöjulkaisun aikana. Kun istunto alkaa, Full mode snapshot on jo klusterissa, mahdollistaen noin 5 sekunnin istunnon aloituksen. Käytä Täysi-tilaa, kun tarvitset vakaan, toistettavan kirjastosarjan, jossa istunto käynnistyy mahdollisimman nopeasti.
  • Pikatila: Kirjastoja ei ole valmiiksi asennettu hydratoituneille klustereille. Sen sijaan ne asennetaan heti, kun muistikirjaistunto alkaa. Hydratoidut klusterit tarjoavat edelleen nopean laskentatoimen, mutta kirjaston asennus istunnon alussa lisää aikaa. Käytä pikatilaa nopeaan iterointiin kehityksen aikana, kun kirjaston vakaus on vähemmän tärkeää.

Muistio

Notebookin Resources-kansio ja inline-kirjaston asennukset (kuten %pip install koodisolussa) ovat manuaalisia, istuntokohtaisia menetelmiä. Ne ovat riippumattomia ympäristön julkaisutilasta eivätkä vaikuta siihen, mitkä kirjastot on valmiiksi asennettu hydratoituihin klustereihin.

Klusterin kapasiteetti

Jokaisella poolilla on maksimiklusterimäärä, jonka asetat konfiguroinnin aikana. Kangas ei automaattisesti skaalaa tätä arvoa pidemmälle. Kun kaikki hydratoituneet klusterit ovat käytössä, lisätehtävät palautuvat tilaustyön provisointiin, joka kestää noin 3–5 minuuttia tai kauemmin riippuen kirjastopakettien riippuvuudesta. Koko-ohjeita löytyy kohdasta Klusterien koko.

Tuetut kuormitukset

Mukautetut live-poolit tukevat seuraavia notebook-pohjaisia Spark-istuntoja:

  • Interaktiiviset muistikirjat pyörivät Fabric-portaalista
  • Aikataulutettu muistikirja suoritetaan konfiguroituna muistikirjan ajoittimessa
  • Muistikirjan suoritukset käynnistyvät putkistoilla

Muistio

Spark-tehtävien määrittelyt (erätyöt) eivät ole tuettuja nykyisessä mukautettujen live-poolien julkaisussa.

Kapasiteetti ja lisensointi

Mukautetut live-poolit vaativat maksullisen Microsoft Fabric -kapasiteetin SKU:n. Fabric Trial -kapasiteetit eivät tällä hetkellä ole tuettuja.

Lisätietoja saatavilla olevista kapasiteetin SKU:ista löytyy Microsoft Fabric -konsepteista ja lisensseistä.

Pääsynvalvonta

Työtilan roolijakot ohjaavat pääsyä mukautettuihin live poolin konfiguraatioihin ja tilaan:

Rooli Käyttöoikeudet
Katsoja tai jäsen Vain luku -käyttö poolin tilaan ja konfiguraatioon
Ylläpitäjä Täysi konfigurointi, tallennus ja julkaisuoikeudet

B2B-vieraskäyttäjille on annettava selkeä työtilarooli, jotta he voivat olla vuorovaikutuksessa mukautettujen live-poolien kanssa.

Rajoitukset

Seuraavat rajoitukset koskevat mukautettuja live-pooleja nykyisessä julkaisussa:

  • Sessiot alkavat ~5 sekunnin kuluttua vasta, kun allas on täysin nesteytetty. Alkuasennuksen aikana tai konfiguraation muuttamisen jälkeen käynnistysajat voivat olla pidempiä.
  • Kirjaston muutokset vaativat liitetyn ympäristön uudelleenjulkaisua. Nesteytetyt klusterit eivät uudistu automaattisesti.
  • Kun liitetty ympäristö käyttää pikatilaa joissakin kirjastoissa, näitä kirjastoja ei ole valmiiksi asennettu hydratoituihin klustereihin, vaan ne on asennettava istunnon alussa. Nopeimman istunnon käynnistykseen mukautetuilla live-pooleilla käytä Täysi-tilaa kirjaston riippuvuuksien osalta.
  • Vain muistikirjapohjaiset Spark-istunnot ovat tuettuja. Spark-työmääritelmiä ei tueta.
  • Kangaskokeilukapasiteettia ei tueta.
  • Jokaisella uima-altaalla täytyy olla aikataulu. Ohjelmattomia pooleja ei voi julkaista.
  • Mukautettuja live-pooleja ei voi hallita ympäristön julkisten API-rajapintojen tai CI/CD-putkien kautta. Konfigurointi täytyy tehdä Fabric-portaalin kautta.