Määritä mukautetut live poolit Microsoft Fabricissa

Koskee:✅ Fabric-data-insinöörit ja datatiede

Mukautetut live poolit ovat esihydratoituja Spark-klustereita, jotka mahdollistavat lähes välittömän istuntokäynnistyksen Microsoft Fabricin kannettaville. Tässä artikkelissa näytetään, miten luodaan, konfiguroida ja hallita räätälöityjä live-pooleita optimaalisen suorituskyvyn saavuttamiseksi.

Edellytykset

Ennen kuin perustat räätälöityjä live-altaita, varmista, että sinulla on:

• Pääsy Microsoft Fabric -työtilaan, jossa on maksullinen Fabric-SKU (Fabric-kokeilukapasiteettia ei tueta)
• Ylläpitäjän rooli työtilassa
• Aktiivinen Fabric-kapasiteetti , joka on määritetty työtilallesi
• Julkaistu Fabric-ympäristö kirjaston konfigurointiin.

Luo oma uima-allas live-poolille

Ensiksi luo oma Spark-allas. Aktivoit live-poolilaskennan tällä poolilla myöhemmässä vaiheessa.

1. Siirry Fabric-työtilaasi.
2. Valitse Workspace-asetukset työtilan kotinauhasta.
3. Laajenna Data Engineering/Science ja valitse Spark-asetukset.
4. Valitse Pool-välilehti .
5. Valitse Workspace-oletuksena oleva pooli pudotusvalikosta Uusi pooli.
6. Syötä altaalle nimi. Tämä on yksilöllinen tunniste poolille (esimerkiksi "dev-team-pool" tai "prod-daily-analytics")
7. Valitse solmuperheja koko työkuormallesi.
8. Valitse Autoscale-valintaruutu , jotta automaattinen skaalaus voi ottaa käyttöön poolille.
9. Aseta minimisolmuiksi vähintään 2.

Säädä live-allas

Kun olet luonut oman Spark-poolin, ota live pool -laskenta käyttöön ympäristöasetusten kautta.

1. Avaa Fabric-työtilassasi ympäristö, jonka haluat liittää mukautettuun live-pooliin.

2. Vasemmasta ruudusta valitse Compute.

3. Valitse edellisessä vaiheessa luomasi pooli pudotusvalikosta.

4. Live poolista valitse radiopainike aktivoidaksesi live poolin laskennan tässä ympäristössä.

   

5. Live-altaan aikataulusta valitse radiopainike käynnistääksesi sen. Kaikilla räätälöidyillä live-pooleilla on oltava aikataulu. Klusterit pidetään nesteytetyinä vain aikataulun aikana.

6. Määritä aikatauluasetukset:

   • Onko aikataulu toistuva
   • Aloitus ja loppu päivä ja aika
   • Aikavyöhyke
   • Milloin allas kannattaa poistaa käytöstä ja aktivoida uudelleen
   • Muut soveltuvat asetukset

   Tärkeää

   Fabric käyttää tavanomaista Spark-provisointia aktiviteeteille aikataulutetun ikkunan ulkopuolella, jolloin käynnistysajat ovat hitaampia. Ryhmiä ei pidetä lämpimänä aikataulun ulkopuolella.

   Aikatauluvinkkejä löytyy kohdasta Aikataulun parhaat käytännöt.

7. Tallenna laskenta-asetukset.

8. Valitse Julkaise-painike yläreunasta.

Julkaisun jälkeen allas on aktiivinen ja Fabric alkaa kosteuttaa klustereita ennen seuraavaa aikataulua.

Monitor poolin tila

Tarkistaaksesi oman live-poolisi tilan:

1. Avaa Fabric-portaalissa Monitoring hub.

2. Etsi julkaisemasi ympäristö ja valitse kolmen pisteen (...) avataksesi kontekstivalikon.

3. Valitse Näytä tiedot.

   

4. Oikeassa ruudussa laajenna Live pool -tila nähdäksesi poolin nykyisen tilan.

Live-altaan tila sisältää tietoja kuten:

• Altaan tila: Esimerkiksi aktiivinen, nesteytetty, lepotilassa tai pysähtynyt
• Saatavilla olevat klusterit: Valmiina muistikirjan istuntoihin valmiiden klusterien määrä
• Varatut klusterit: Klusterien määrä, jotka tällä hetkellä suorittavat istuntoja
• Seuraava aikataulu: Tuleva toimintaikkuna

Parhaat käytännöt

Saadaksesi parhaan hyödyn räätälöidyistä live-pooleista, harkitse seuraavia parhaita konfigurointi- ja hallintakäytäntöjä:

Optimoi kustannusten ja suorituskyvyn mukaan

• Sovita määrä kysyntään: Aseta maksimiklusterimäärä odotettujen samanaikaisten sessioiden perusteella. Ylitarjoaminen lisää kustannuksia.
• Seuraa käyttöastetta: Tarkista säännöllisesti poolin mittareita ja säädä klusterimäärää tarvittaessa.
• Skaalaa aikatauluja tehokkaasti: Vältä aikataulujen päällekkäisyyttä useiden poolien välillä, ellei se ole välttämätöntä.
• Hyödynnä lepotilan aikakatkaisua: Aseta sopivat lepotila-aikakatkaisut tasapainon ylläpitämiseksi resurssien saatavuuden ja toistuvien klusterin uudelleenkäynnistysten välttämisen välillä.

Klusterikoot

Kun konfiguroit poolia, ota huomioon seuraavat asetukset ja suositukset:

• Klusterin koko: Executor-instanssien määrä muistikirjan istunnoille (vaihteluväli: 1–16).
• Maksimiryhmämäärä: Suurin määrä klustereita, jotka pidetään nesteytettyinä. Asetetaan odotettujen samanaikaisten sessioiden mukaan.
• Idle timeout: Kuinka kauan käyttämätön klusteri pysyy varalla ennen kuin Fabric lopettaa sen.

Hallinnoi kirjastoriippuvuuksia

• Käytä ympäristöryhmittelyä: Esiasenna yleiset kirjastot ympäristöön sen sijaan, että asentaisit lennossa -asennuksen.
• Ympäristön versiointi: Liitetyn ympäristön päivittäminen vaatii hydratoitujen klustereiden uudelleenjulkaisua ja päivittämistä.
• Päivitä hydratoituneet klusterit: Ympäristön muutosten jälkeen päivitä allas tai odota seuraavaa suunniteltua kiertoa muutosten tekemiseksi.

Sopeudu työkuorman kaavoihin

• Seuraa ulkopuolista käyttäytymistä: Säädä lepotilatilaiden aikakatkaisuja todellisten käyttötottumusten mukaan.
• Jaa sessioiden välillä: Harkitse saman ympäristön jakamista useiden poolien välillä, jos sinulla on johdonmukaiset työkuormamallit resurssien käytön parantamiseksi.

Aikataulun parhaat käytännöt

• Sovita työkuorman kaavoja: Aikatauluta aktiiviset ajat, kun tiimisi pyörittää vuorovaikutteisia tai aikataulutettuja muistikirjoja.
• Puskuriaika: Lisää 60–90 minuuttia ennen odotettua käyttöaikaa täydellisen nesteytyksen varmistamiseksi.
• Ota huomioon aikavyöhykkeet: Jos joukkueesi kattaa useita aikavyöhykkeidiä, laajenna aikataulua kattamaan vaaditut aikavälit.

Vianmääritys

Mukautettujen live-poolien vianetsintä sisältää altaan tilan, ympäristön kunnon ja aikataulujen konfiguroinnin tarkistamisen seuraavissa tilanteissa:

Uima-allas ei ole edelleen käytettävissä

Jos pooli ei aktivoidu tai näyttää "Ei saatavilla" -tilan:

• Tarkista, että Fabric-kapasiteetti on aktiivinen ja tällä hetkellä määritetty työtilaan
• Varmista, että liitetty ympäristö on "Valmis"-tilassa.
• Varmista, että liitetty ympäristö on julkaistu eikä siinä ole virheitä.

Nesteytys kestää odotettua kauemmin

Jos nesteytys on odotettua hitaampi:

• Tarkista ympäristön riippuvuudet ja buildin tila.
• Varmista, että ympäristö on "Valmis"-tilassa.
• Seuraa uima-altaan yksityiskohtia saadaksesi lisätietoja.

Istunnot tai muistikirjat eivät käynnisty

Jos muistikirjan istunnot eivät käynnisty, vaikka pooli olisi aktiivinen:

• Tarkista, että sessiossa käytetään oikeaa ympäristöä.
• Varmista, että allas on "Saatavilla"-tilassa ja täysin nesteytetty.

Liittyvä sisältö

• Räätälöityjen live-altaiden yleiskatsaus
• Aloituspoolien konfigurointi
• Luo omia Spark-pooleita
• Luo ja käytä ympäristöä