Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Koskee:✅ SQL-analytiikan päätepiste ja Microsoft Fabric -varasto
Tässä artikkelissa kuvataan Fabric Data Warehousen arkkitehtuuria ja työkuorman hallintaa.
Tietojenkäsittely
Warehouse- ja SQL-analytiikan päätepisteillä on sama pohjana oleva käsittelyarkkitehtuuri. Kun Fabric hakee tai vastaanottaa dataa, hajautettu moottori käsittelee sekä pieniä että suuria dataa ja laskentatoimintoja.
Käsittelyjärjestelmä on palvelimeton, sillä taustakäsittelykapasiteetti skaalautuu ylös ja alas itsenäisesti työmäärän vaatimusten täyttämiseksi.
Kun kysely lähetetään, SQL-edusta (FE) suorittaa kyselyn optimoinnin määrittääkseen parhaan palvelupaketin tietojen koon ja monimutkaisuuden perusteella. Kun suunnitelma on luotu, se annetaan Distributed Query Processing (DQP) -moottorille. DQP järjestää kyselyn jaetun suorituksen jakamalla sen pienempiin kyselyihin, jotka suoritetaan taustan käsittelysolmuissa. Jokainen pieni kysely on tehtävä ja edustaa hajautettua suoritusyksikköä. Se lukee tiedostoja OneLakesta, liittyy muiden tehtävien, ryhmien tai muiden tehtävien tietojen tuloksiin, tai määrää tietoja, jotka on haettu muista tehtävistä. Tietojen käsittelytöissä se myös kirjoittaa tiedot asianmukaisiin kohdetaulukoihin.
Kun tietoja käsitellään, tulokset palautetaan SQL-edustalle siitä, miten ne toimivat takaisin käyttäjälle tai kutsuvat sovellusta.
Joustavuus ja vikasietoisuus
Taustalaskennan kapasiteetti hyötyy nopeasta valmisteluarkkitehtuurista. Vaikka resurssien jakamisessa ei ole SLA:ta, uudet solmut hankitaan tyypillisesti muutamassa sekunnissa. Resurssien kysynnän kasvaessa uudet kuormitukset käyttävät skaalatun kapasiteetin käyttöä. Skaalaus on online-toiminto, ja kyselyn käsittely keskeytyy.
Järjestelmä on vikasietoinen, ja jos solmusta tulee epäterveellinen, solmussa suoritettavat toiminnot jaetaan terveille solmuille loppuun suorittamista varten.
Varasto- ja SQL-analytiikkapäätelaitteet tarjoavat räjähdettävän kapasiteetin , jonka avulla työkuormat voivat käyttää enemmän resursseja paremman suorituskyvyn saavuttamiseksi, ja tasaus helpottaa asiakkaita, jotka aiheuttavat äkillisiä piikkejä ruuhka-aikoinaan ja joiden käyttämättömänä kapasiteetti jää käyttämättä muina aikoina. Tasaaminen yksinkertaistaa kapasiteetin hallintaa levittämällä käsittelyn arviointia, jotta asiakastyöt sujuvat sujuvasti ja tehokkaasti.
Ajoittaminen ja hankinta
Hajautettu kyselyjen käsittelyn ajoitus toimii tehtävän tasolla. Kyselyt esitetään ajoitustoiminnolle suunnattuna syklisenä kaaviona (DAG). Spark-käyttäjät tuntevat tämän käsitteen. DAG mahdollistaa rinnakkaisuuden ja rinnakkaisuuden, sillä tehtäviä, jotka eivät riipu toisistaan, voidaan suorittaa samanaikaisesti tai epäjärjestyksessä.
Kun kyselyt saapuvat, heidän tehtävänsä ajoitetaan FIFO-periaatteiden mukaisesti. Jos kapasiteetti on tyhjäkäynti, aikatauluttaja saattaa käyttää "paras sovitus" -lähestymistapaa samanaikaisuuden optimointiin.
Kun ajoitustoiminto tunnistaa hankintapaineen, se käynnistää skaalaustoiminnon. Skaalausta hallitaan itsenäisesti ja taustatopologia kasvaa samanaikaisuuden kasvaessa. Koska solmujen hankinta kestää muutaman sekunnin, järjestelmää ei ole optimoitu hajautettua käsittelyä edellyttävien kyselyiden jatkuvaa alisekunnin suorituskykyä varten.
Kun paine pienenee, taustatopologia skaalautuu takaisin alaspäin ja vapauttaa resurssin takaisin alueelle.
Laskenta-altaan eristys
Koskee:✅ Microsoft Fabric -varasto
Työtilalle määritetty kapasiteetti-SKU määrittää SQL-analytiikkapäätepisteen kokonaislaskentamäärän. Tämä laskenta on jaettu tasan (50/50) kahteen erilliseen resurssipooliin, joita käyttäjäkyselyt voivat hyödyntää:
-
SELECT Pool - Käsittelee kaikki
SELECTkyselyt. -
Non-SELECT-pooli – Käsittelee kaikki ei-kyselyt
SELECT, kuten ETL- tai ielutoiminnot.
Jokainen pooli skaalautuu itsenäisesti kyselykysynnän mukaan, mutta ei koskaan ylitä 50% SQL-analytiikan päätepisteen kokonaislaskennasta. Tämä erottelu estää resurssien kiistanalaisuuden, varmistaen, että vastaanottotyökuormat suoritetaan omalla laskentalla, joka on optimoitu ETL:lle, vaikuttamatta lukukyselyihin. Tuloksena on parempi suorituskyky ja luotettavuus molemmille kyselytyypeille.
Muistiinpano
Ja SELECT ei-poolinSELECT eristys on oletusarvoinen autonominen työkuormanhallinta, joka sovelletaan jokaiseen työtilaan. Työtilan ylläpitäjät voivat kuitenkin räätälöidä tätä käyttämällä omia SQL-pooleja.
Istunnot
Warehouse- ja SQL-analytiikkapäätepisteillä on käyttäjäraja 724 käyttäjää per työtila. Kun tämä raja saavutetaan, palautetaan virhe: The user session limit for the workspace is 724 and has been reached.
Muistiinpano
Microsoft Fabric on SaaS-ympäristö, ja monet järjestelmäyhteydet toimivat jatkuvasti ympäristön optimoimiseksi. DMV-näkymät näyttävät sekä järjestelmä- että käyttäjäistunnot. Lisätietoja on artikkelissa Valvo yhteyksiä, istuntoja ja pyyntöjä DMV-tiedostoilla.
Parhaat käytännöt
Microsoft Fabric -työtila tarjoaa jaetun käsittelyjärjestelmän luonnollisen eristämisen rajan. Kuormitukset voivat hyödyntää tätä rajaa sekä kustannusten että suorituskyvyn hallinnassa.
OneLake-pikakuvakkeiden avulla voidaan luoda vain luku -replikoita muiden työtilojen taulukoista, jotta kuormitusta voidaan jakaa useille SQL-moottoreille, mikä luo eristysrajan. Tämä voi tehokkaasti suurentaa vain luku -kyselyitä suorittavien istuntojen enimmäismäärää.
