Osioidun laskennan käyttäminen Dataflow Gen2:ssa (esikatselu)

Osioitu laskenta on Dataflow Gen2 -moottorin ominaisuus, joka mahdollistaa datavirran logiikan osien suorittamisen rinnakkain, mikä lyhentää arviointien loppuun saattamiseen kuluvaa aikaa.

Osioitu laskenta kohdistuu skenaarioihin, joissa Dataflow-moduuli voi tehokkaasti delegoida toimintoja, jotka voivat osioida tietolähteen ja käsitellä kutakin osiota rinnakkain. Esimerkiksi tilanteessa, jossa yhdistät useisiin tiedostoihin, jotka on tallennettu Azure Data Lake Storage Gen2:ään, voit jakaa tiedostolistan lähteestäsi, hakea osioidun tiedostolistan tehokkaasti query folding avulla, käyttää combine tiedostojen kokemusta ja käsitellä kaikki tiedostot rinnakkain.

Osioidun laskennan määrittäminen

Tämän ominaisuuden hyödyntämiseksi seuraa seuraavia vaiheita:

• Ota tietovuon asetukset käyttöön

• Kysely osioavaimilla

Ota tietovuon asetukset käyttöön

Nauhan Home-välilehdellä valitse Asetukset-painike näyttääksesi sen valintaikkunan. Mene Scale-osioon ja ota käyttöön asetus, jossa lukee Salli osioidun laskennan käyttö.

Tämän asetuksen käyttöönotolla on kaksi tarkoitusta:

• Antaa Dataflow'n käyttää osioitua laskentaa, jos se löydetään kyselyskriptien kautta

• Kokemukset, kuten yhdistä tiedostot, luovat nyt automaattisesti osioavaimet, joita voidaan käyttää osioituun laskettuun

Sinun täytyy myös ottaa käyttöön asetus Tietosuoja-osiossa , jotta voit yhdistää tietoja useista lähteistä.

Kysely osioavaimella

Kun olet ottanut asetuksen käyttöön, voit käyttää tiedostojen yhdistämiskokemusta tietolähteelle, joka käyttää tiedostojärjestelmän näkymää, kuten Azure Data Lake Storage Gen2. Kun tiedostojen yhdistämiskokemus on valmis, huomaat, että kyselyssäsi on Lisätty mukautettu -vaihe, jonka komentosarja on seuraavanlainen:

let
    rootPath = Text.TrimEnd(Value.Metadata(Value.Type(#"Filtered hidden files"))[FileSystemTable.RootPath]?, "\"),
    combinePaths = (path1, path2) => Text.Combine({Text.TrimEnd(path1, "\"), path2}, "\"),
    getRelativePath = (path, relativeTo) => Text.Middle(path, Text.Length(relativeTo) + 1),
    withRelativePath = Table.AddColumn(#"Filtered hidden files", "Relative Path", each getRelativePath(combinePaths([Folder Path], [Name]), rootPath), type text),
    withPartitionKey = Table.ReplacePartitionKey(withRelativePath, {"Relative Path"})
in
    withPartitionKey

Tämä komentosarja ja erityisesti withPartitionKey komponentti ohjaavat logiikkaa siitä, miten tietovuo yrittää osioida tietojasi ja miten se yrittää arvioida asioita rinnakkain.

Voit käyttää Table.PartitionKey-funktiotaLisätty mukautettu -vaihetta vastaan. Tämä funktio palauttaa määritetyn taulukon osioavaimen. Yllä olevassa tapauksessa se on sarake RelativePath. Voit saada erillisen listan arvoista kyseisessä sarakkeessa oppiaksesi kaikki datavirran aikana käytetyt osiot.

Huomioitavaa ja suosituksia

• Osioitu laskenta vs. nopea kopio: Jos tietolähteesi ei tue tiedostojen muunnosten taittamista, suosittelemme valitsemaan osioidun laskennan nopean kopion sijaan.

• Lakehouse file access: Lakehousen tiedostoihin yhdistämiseksi suosittelemme käyttämään Azure Data Lake Storage Gen2-liitintä välittämällä Files-solmun URL-osoitteen.

• Paras suorituskyky: Käytä tätä menetelmää lataamaan data suoraan stagingiin kohteeksi tai Fabric Warehouseen.

• Tietojen säilytys: Vain viimeisin osiosuoritus tallennetaan Dataflow Staging Lakehouseen ja palautetaan Dataflow Connectorin kautta. Harkitse datan kohteen käyttöä, joka säilyttää tiedot jokaiselle erilliselle osiolle.

• Tiedostomuunnokset: Käytä Combine files -kokemuksen Sample transform -tiedostoa käynnistääksesi muunnokset, jotka pitäisi tapahtua jokaisessa tiedostossa.

• Tuetut muunnokset: Jaettu laskenta tukee vain osajoukkoa muunnoksista. Suorituskyky voi vaihdella lähteen ja käytettyjen muunnosten mukaan.

• Laskutus: Datavirran laskutus perustuu kapasiteettiyksikön (CU) kulutukseen.