Migration best practices for Azure Data Factory to Fabric Data Factory

Microsoft Fabric yhdistää Microsoft:n analytiikkatyökalut yhdeksi SaaS-alustaksi, tarjoten vahvoja ominaisuuksia työnkulun orkestrointiin, datan siirtoon, replikointiin ja muunnokseen suuressa mittakaavassa. Fabric Data Factory rakentuu Azure Data Factory (ADF) -pohjalle, mikä tekee siitä ihanteellisen valinnan dataintegraatioratkaisujen modernisoimiseen.

Tämä opas käsittelee migraatiostrategioita, huomioitavia seikkoja ja lähestymistapoja, jotka auttavat sinua päivittämään Azure Data Factory -versiosta Fabric Data Factoryyn.

Huomioitavaa ennen siirtoa

Arvioi ennen siirtoa, mitä haluat käyttää uudelleen, kääntää tai suunnitella uudelleen. Noudata näitä ohjeita varmistaaksesi sujuvan siirtymisen:

  1. Tunnista todennusmallit, kuten hallittu käyttäjätieto tai avainpohjainen todennus.
  2. Tarkista verkkovaatimukset, mukaan lukien yksityiset päätepisteet ja yhdyskäytävät.
  3. Kartoita ajoitus ja käynnistin semantiikka sekä kohdista valvonta- ja hälytysasetukset.
  4. Vertaa ADF:n ominaisuuksia niiden Fabric-vastineisiin, huomioiden mahdolliset aukot kuten SSIS tai datavirrat.
  5. Määritä ei-toiminnalliset tavoitteet, kuten SLA:t, suorituskyky, kustannusrajat ja havainnoitavuus.
  6. Rakenna testiskenaario näyteaineistoilla ja odotetuilla tuloksilla, jotta ADF- ja Fabric-ajoja voidaan objektiivisesti vertailla.
  7. Suunnittele salaisuuksien kierto, nimeämiskäytännöt ja työtilan taksonomia, jotta siirto parantaa nykyistä tietojen integrointistrategiaasi – ei vain toista.

Vaiheittainen lähestymistapa, jossa on rinnakkainen validointi ja palautussuunnitelmat, minimoi riskit ja mahdollistaa nopeamman toteutuksen, keskitetyn valvonnan ja syvemmän integraation Microsoft Fabric -ohjelmistoon.

Suurissa migraatioissa harkitse yhteistyötä sertifioitujen Microsoft-kumppaneiden tai Microsoft account-tiimisi kanssa saadaksesi ohjausta.

Yhteydet, linkitetyt palvelut ja tietojoukot

Azure Data Factory (ADF) -ohjelmassa linkitetyt palvelut ja aineistot määrittelevät yhteydet ja tietorakenteet. Vuonna Fabric nämä vastaavat connections ja activity settings, joissa painopiste on vahvemmin työtilatason uudelleenkäytössä ja hallitussa identiteetissä. Voit mukauttaa ADF-resursseja seuraavasti:

  1. Tarkista liittimen jatkuvuus Azure Data Factory:n ja Fabric varmistaaksesi tuen tietolähteillesi ja allajillesi.
  2. Yhdistä redundantit yhteydet hallinnan virtaviivaistamiseksi.
  3. Ota käyttöön hallitut käyttäjätiedot turvallista ja johdonmukaista todennusta varten.
  4. Standardoi kansioiden ja taulukoiden parametrointi käyttämällä selkeitä nimeämiskäytäntöjä, esimerkiksi: conn-sql-warehouse-sales tai ds-lh-raw-orders.

Yhdenmukaisuuden ja skaalautuvuuden varmistamiseksi dokumentoi jokainen lähde ja kohde kokonaan seuraavilla tavoilla:

  • Omistajat
  • Herkkyystasot
  • Yritä asetuksia uudelleen

Tämä dokumentaatio auttaa mallintamaan toimintoja eri putkissa ja parantamaan hallintoa.

Integroinnin suoritusajat ja OPDG, näennäisverkon yhdyskäytävä

Azure Data Factory (ADF) käyttää Integration Runtimeja (IRs) määrittelemään laskentaresursseja tietojenkäsittelyyn. Lomaketyyppejä:

  • Cloud IRs Azure-isännöidylle laskentalle.
  • Itse isännöidyt IR:t (SHIR) paikallisille tai yksityisesti verkotetuille lähteille.
  • SSIS IRs SQL Server Integration Services.
  • VNet-yhteensopivat IR:t turvalliseen verkkoyhteyteen.

Fabric:ssa nämä vastaavat cloud execution, On-premises Data Gateway (OPDG) ja Virtual Network Data Gateway vaihtoehtoja. Voit suunnitella siirron seuraavasti:

  1. Tunnista SHIR:iin perustuvat putket ja suunnittele niiden yhdyskäytävän kartoitus ja siirtonopeuden koko.
  2. Vahvista DNS, lähtevä liikenne, palomuurisäännöt ja todennus kullekin liittimelle.
  3. Harjoittele vikasietoisuusskenaarioita luotettavuuden varmistamiseksi.
  4. Jos mahdollista, siirry yksityisiin päätepisteisiin tai näennäisverkon tietoyhdyskäytäviin suojaustarkistusten yksinkertaistamiseksi ja operatiivisten kustannusten vähentämiseksi.

Fabric yksinkertaistaa laskennan hallintaa käyttämällä pilvipohjaisia resursseja Fabric-kapasiteetissasi. SSIS-IR:t eivät ole saatavilla Fabric-palvelussa. Käytä paikallista yhteyttä varten paikallista tietoyhdyskäytävää (OPDG). Turvalliseen verkkoliitäntään käytä Virtual Network Data Gateway.

Siirron yhteydessä:

  • Julkisen verkon Azure-IR-yhteyksiä ei tarvitse siirtää.
  • Luo SHIR:t uudelleen OPDG:iksi.
  • Korvaa VNet-yhteensopivat Azure IR:t Virtual Network Data Gatewayilla.

Putkiston toimintojen erot

Kaikilla Azure Data Factory (ADF) -ohjelman ydintoiminnoilla, kuten Copy, Lookup, Stored Procedure/SQL Script, Web ja Control Flow, on suoria vastineita Fabric-ohjelmassa. Ominaisuuksissa, lausekkeen syntaksissa ja rajoituksissa on kuitenkin joitakin eroja. Tarkista siirron yhteydessä seuraavat asiat:

  • Yritä uudelleen käytäntöjä ja aikakatkaisuja.
  • REST-lähteiden sivutusasetukset.
  • Binaariset vs. taulukkomuotoiset kopiointimääritykset.
  • Foreach ja suodatinkuviot.
  • Dynaamisessa sisällössä käytetyt järjestelmämuuttujat.

Fabric tarjoaa usein natiivimpia vaihtoehtoja tiettyihin tehtäviin. Voit esimerkiksi käyttää SQL-komentosarjaa varastossa yleisen tallennetun proseduurin kutsun sijaan, jotta historiatiedot ja valvonta paranevat. Voit virtaviivaistaa siirtoa keskittämällä yleiset lausekkeet, kuten polut, päivämäärät ja vuokraajakohtaiset URI-osoitteet putkiparametreihin. Tämä vähentää ajautumista ja nopeuttaa testausta.

Lisätietoja löytyy Toiminnan jatkuvuudesta Azure Data Factory ja Fabric.

Tietovuon erot

Azure Data Factory (ADF) Mapping Data Flows eivät suoraan Fabric. Sen sijaan ne muokataan yleensä jollakin seuraavista vaihtoehdoista:

  • Dataflow Gen2 rivijoukkomuunnoksia ja hallittuja, vähäkoodisia muunnoksia varten.
  • Fabric Warehouse SQL joukkopohjaisiin ELT-tehtäviin, kuten MERGE- tai ELT-operaatioihin lähellä dataa.
  • Spark-muistikirjat edistyneisiin muunnoksiin, monimutkaiseen logiikkaan tai laajamittaiseen käsittelyyn.

Kun siirrät, tarkista seuraavat asiat:

  • Tietotyypit ja tyhjäarvojen käsittely.
  • Korvikeavaimet ja hitaasti muuttuvat mitat.
  • Idempotentit ELT-mallit, kuten staging ja MERGE, varmistavat ennustettavat uusinnat.

Lisätietoja siirtoskenaarioista on kohdassa Siirtyminen Dataflow Gen1:stä Dataflow Gen2:een.

Global parameters in Azure Data Factory

Fabric käyttää työtilatason Variable Libraries määritelläkseen vakioita Fabric alkioiden välillä. Kun siirryt Microsoft Fabric Data Factoryyn, sinun täytyy muuntaa Azure Data Factory -globaalit parametrit muuttuviksi kirjastoiksi.

Täydelliset muunnosohjeet löytyvät kohdasta Muunna ADF Global Parameters to Fabric Variable Libraries.

Azure Marketplace -kumppanitarjoukset

Luotettavat siirtokumppanit, kuten Bitwise Global, tarjoavat työkaluja siirron helpottamiseksi. Nämä työkalut voivat

  • Skannaa Azure Data Factory (ADF) -ympäristösi.
  • Luo kohde-Fabric-artefakteja.
  • Suorita vaikutusanalyysi ja sukuhistorian seuranta.
  • Luo automatisoituja testisuunnitelmia.

Nämä ratkaisut ovat erityisen hyödyllisiä, jos sinulla on:

  • Satoja putkistoja.
  • Monipuoliset liittimet.
  • Tiukat seisokkivaatimukset.

Kumppanityökalut standardoivat kartoitussäännöt, luovat konversioraportteja ja suorittavat rinnakkaisia vahvistustestejä. Näin voit verrata rivimääriä, tarkistussummia ja suorituskykyä vanhojen ja uusien ympäristöjen välillä. Vaikka et käyttäisi kumppania koko siirron ajan, heidän etsintä- ja arviointimoduulinsa voivat auttaa sinua aloittamaan sisäisen suunnittelun ja vähentämään epävarmuustekijöitä.

Käytä tekoälytyökaluja

Suuret kielimallit (LLM:t), kuten Microsoft Copilot, ChatGPT ja Claude, voivat nopeuttaa migraatiotehtäviä. Nämä työkalut ovat hyödyllisiä:

  • Lausekkeiden refaktorointi.
  • Converting Azure Data Factory (ADF) JSON to Fabric syntax.
  • MERGE-lauseiden kirjoittaminen.
  • Yhteysmallien luominen.
  • Validointiskriptien laatiminen.

Voit myös käyttää niitä dokumentaation, kuten runbookien, tietosanakirjojen ja siirron tarkistuslistojen, luomiseen varmistaaksesi, että insinöörit ja operaattorit pysyvät linjassa. Pidä kuitenkin nämä työkalut ajan tasalla, älä vastuussa:

  • Vältä arkaluonteisten tietojen liittämistä tekoälytyökaluihin.
  • Vahvista kaikki kehitysympäristön kohteet.
  • Käytä automaattisia testejä, kuten rivimääriä, skeemavertailuja ja liiketoimintasääntöjen tarkistuksia, havaitaksesi hienovaraisia ongelmia, kuten tyyppiristiriitoja tai aluekohtaista päivämäärän jäsentämistä.

Lisätietoja löytyy Use Copilot in Data Factory ja AI in Microsoft Fabric.

Muuttoreitit

Siirtopolut määräytyvät ADF-resurssien ja niiden ominaisuuksien pariteetin mukaan. Vaihtoehtoja ovat seuraavat:

Liittyvä sisältö

Vertaa Azure Data Factory Data Factoryyn Fabric

  • Last updated on