Migreringsplanlegging for Azure Data Factory til Fabric Data Factory

Microsoft Fabric samler Microsoft sine analyseverktøy i én enkelt SaaS-plattform. Den tilbyr sterke muligheter for arbeidsflytorkestrering, dataflyt, replikering og transformasjon i stor skala. Fabric Data Factory tilbyr et SaaS-miljø som bygger på Azure Data Factory (ADF) PaaS gjennom brukervennlige forbedringer og ekstra funksjonalitet, noe som gjør Fabric Data Factory til den perfekte moderniseringen av dine eksisterende dataintegrasjonsløsninger.

Denne guiden viser deg migreringsstrategier, vurderinger og tilnærminger som hjelper deg å gå fra Azure Data Factory til Fabric Data Factory.

Hvorfor migrere?

Å migrere fra ADF- og Synapse-pipelines til Fabric Data Factory er mer enn bare å løfte og skifte: det er en mulighet til å forenkle styring, standardisere mønstre og bruke Fabric Data Factorys avanserte funksjoner for å forbedre din dataintegrasjonsstrategi.

Fabric tilbyr mange nye funksjoner, inkludert:

For en detaljert sammenligning, se sammenligningsguiden for Azure Data Factory og Fabric Data Factory.

Kritiske arkitektoniske forskjeller

Før du migrerer fra Azure Data Factory til Fabric Data Factory, bør du vurdere disse kritiske arkitektoniske forskjellene som ofte har størst innvirkning på migreringsplanlegging:

kategori Azure Data Factory Fabric Data Factory Migrasjonspåvirkning
Egendefinert kode Egendefinert aktivitet Azure Batch aktivitet Aktivitetsnavnet er annerledes, men støtter samme funksjonalitet.
Dataflyt Kartlegging av dataflyter (Spark-basert) Dataflow Gen2 (Power Query motor) med rask kopi og flere destinasjoner Ulike transformasjonsmotorer og kapasiteter. Sjekk vår guide til dataflyter for kartlegging Data Flow brukere for mer informasjon.
Datasett Separate, gjenbrukbare datasettobjekter Eiendommer defineres i linje med aktiviteter Når du konverterer fra ADF til Fabric, finnes 'datasett'-informasjon i hver aktivitet.
Dynamiske forbindelser Egenskaper ved lenket tjeneste kan være dynamiske ved hjelp av parametere Tilkoblingsegenskaper støtter ikke dynamiske egenskaper, men pipeline-aktiviteter kan bruke dynamisk innhold for tilkoblingsobjekter For løsninger basert på metadata Driven Architecture som er avhengige av parameteriserte forbindelser, parameteriser tilkoblingsobjektet i Fabric.
Globale parametere Globale parametere Fabric variabelbibliotek Ulike implementeringsmønstre og datatyper, selv om vi har en migreringsguide.
HDInsight-aktiviteter Fem separate aktiviteter (Hive, Pig, MapReduce, Spark, Streaming) Enkelt HDInsight-aktivitet Du trenger bare én aktivitetstype når du konverterer, men all funksjonalitet støttes.
Identitet Administrert identitet Fabric Workspace Identity Ulike identitetsmodeller, med noe planlegging som kreves for å endre seg.
Key Vault Moden integrasjon med alle autentiseringstyper Begrenset integrasjon via Fabric Key Vault Referanse Sammenlign som for øyeblikket støttes Key Vault kilder og autentisering med dine eksisterende konfigurasjoner.
Pipeline-kjøring Utfør pipelineaktivitet Kall Pipeline-aktivitet med FabricDataPipeline-tilkoblingstype Aktivitetsnavn og tilkoblingskrav endres ved konvertering.
Planlegging Én trigger for mange pipelines eller mange triggere per pipeline med sentralisert administrasjon Én tidsplan per rørledning eller mange tidsplaner per rørledning uten gjenbruk eller sentralt knutepunkt Fabric krever for øyeblikket planlegging per rørledning.

Overføringsbaner

Overføringsbaner avhenger av ADF-ressursene og deres funksjonsparitet. Alternativene omfatter:

Azure Data Factory items in your Fabric workspace

Å legge til en eksisterende ADF i ditt Fabric arbeidsområde gir deg umiddelbar oversikt og styring mens du migrerer trinnvis. Det er ideelt for oppdagelse, eierskapsfordeling og side-ved-side-testing fordi teamene kan se pipelines, organisere dem under Fabric-arbeidsområder og planlegge cutovers per domene. Bruk Azure Data Factory-elementer for å katalogisere hva som finnes, prioriter pipelines med høyest verdi/lavest risiko først, og etabler konvensjoner (navngivning, mapper, gjenbruk av tilkoblinger) som konverteringsskriptene og partnerverktøyene dine kan følge konsekvent.

Montering i Fabric gjøres via Azure Data Factory gjenstandstype: Bring Azure Data Factory til Fabric.

Oppgrader Azure Data Factory-pipelines ved å bruke den innebygde migreringsopplevelsen

Fabric gir en innebygd, vurderingsbasert oppgraderingsopplevelse som lar deg evaluere og migrere Azure Data Factory-pipelines direkte gjennom Azure Data Factory og Fabric-brukeropplevelser – uten skript eller tilpassede verktøy. Denne erfaringen hjelper deg:

  • Vurder pipeline- og aktivitetsberedskap direkte i Azure Data Factory.
  • Forstå kompatibilitetsgap før migrering.
  • Monter din Azure Data Factory i et Fabric-arbeidsområde for side-ved-side gjennomgang.
  • Migrer støttede pipelines gradvis til Fabric fra din monterte datafabrikk.
  • Planlegg utbedring eller redesign for ting som trenger oppdateringer eller som kommer snart.

Hver pipeline og aktivitet er tydelig kategorisert (Klar, Trenger gjennomgang, Kommer snart, eller Ikke kompatibel), noe som hjelper teamene å planlegge migreringer bevisst og validere resultater før de bytter produksjonsarbeidsbelastning. Denne tilnærmingen passer godt for kunder som ønsker en veiledet, lavrisiko og inkrementell migrasjonsvei, samtidig som de beholder oversikt over ikke-støttede funksjoner og neste steg. For trinnvis veiledning, se Oppgrader dine Azure Data Factory-pipelines til Fabric

Manuell overføring

Manuell migrering er nødvendig for komplekse pipelines med lav paritet, men det er også en mulighet til å modernisere arkitekturen og ta i bruk Fabric sine integrerte funksjoner. Denne veien krever mer forhåndsplanlegging og utvikling, men kan gi langsiktige fordeler når det gjelder vedlikeholdbarhet, ytelse og kostnader.

For å migrere effektivt, følg disse trinnene:

  1. Vurder og inventar: Katalogiser alle ADF-ressurser, inkludert pipelines, datasett, koblede tjenester og integrasjonskjøringer. Identifiser avhengigheter og bruksmønstre.
  2. Identifiser duplikater og ubrukte elementer: Rydd opp i ubrukte eller overflødige elementer i ADF for å effektivisere migreringen og dataintegrasjonsmiljøet ditt.
  3. Identifiser gap: Bruk verktøyet for vurdering av migrering og gjennomgå koblingsparitet og aktivitetsparitet for å identifisere hull mellom ADF-pipelinene dine og Fabric pipelines, og planlegg alternativer.
  4. Gjennomgå nye funksjoner: Bruk vår databevegelsesbeslutningsguide og dataintegrasjonsbeslutningsguide for å avgjøre hvilke Fabric verktøy som passer best for dine behov.
  5. Plan: Gå gjennom beste praksis for migrasjon for hensyn til hvert av elementene dine, og retningslinjer for å utnytte Fabric forbedrede muligheter best mulig.
  6. Hvis du bruker globale parametere i ADF, planlegg å migrere dem til Fabric-variabelbiblioteker. Se Convert ADF Global Parameters to Fabric Variable Libraries for detaljerte trinn.
  7. ADF-overgang: Vurder å legge til et Azure Data Factory element i Microsoft Fabric som et første steg i migreringen, slik at det kan tillates gradvis overgang på én plattform.
  8. Prioriter: Ranger pipelinene dine basert på forretningspåvirkning, kompleksitet og enkel migrering.
  9. Automatiser der du kan: Bruk den innebygde oppgraderingsopplevelsen til å vurdere, migrere og validere pipelines gradvis før du flytter produksjonsarbeidsbelastninger. For mer informasjon, se oppgraderingsverktøyet.
  10. Vurder verktøy: Bruk disse verktøyene for å gjøre rekreasjonen enklere:
  11. Manuell migrering: For scenarier som ikke støttes av andre migreringsmetoder, bygg dem opp igjen i Fabric:
    1. Gjenskap forbindelser: Sett opp Connections i Fabric for å erstatte Linked Services i ADF
    2. Gjenskap aktiviteter: Sett opp dine aktiviteter i pipelinene dine, og erstatt unsupported activities med Fabric alternativer eller bruk aktiviteten Invoke pipeline
    3. Planlegg og sett triggere: Bygg opp tidsplaner og hendelsestriggere i Fabric for å matche ADF-planene dine
  12. Test grundig: Valider migrerte rørledninger mot forventede resultater, ytelsesbenchmarks og samsvarskrav.

Eksempel på overføringsscenarioer

Overgangen fra ADF til Fabric kan innebære ulike strategier avhengig av bruksområdet ditt. Denne delen skisserer vanlige overføringsbaner og vurderinger for å hjelpe deg med å planlegge effektivt.

Scenario 1: ADF-pipeliner og dataflyter

Moderniser ETL-miljøet ditt ved å flytte pipelines og dataflyter til Fabric. Planlegg for disse elementene:

  • Gjenskap sammenkoblede tjenester som forbindelser
  • Gjenskap globale parametere som variabelbiblioteker
  • Definer datasettets egenskaper inline i pipeline-aktiviteter
  • Erstatt SHIR-er (selvhostede integrasjonskjøretider) med OPDG-er (on-premises datagateways) og VNet-IR-er med Virtual Network Data Gateways
  • Bygg opp ustøttede ADF-aktiviteter ved å bruke Fabric alternativer eller aktiviteten Invoke pipeline. Ikke-støttede aktiviteter inkluderer:
    • Data Lake Analytics (U-SQL), en utdatert Azure-tjeneste
    • Valideringsaktivitet, som kan bygges opp igjen ved hjelp av Get Metadata, pipeline-løkker og If-aktiviteter
    • Power Query, som er fullt integrert i Fabric som dataflyter hvor M-kode kan gjenbrukes
    • Notebook-, Jar- og Python-aktiviteter kan erstattes med Databricks-aktiviteten i Fabric
    • Hive-, Pig-, MapReduce-, Spark- og Streaming-aktiviteter kan erstattes med HDInsight-aktiviteten i Fabric

Som et eksempel, her er ADF-datasettkonfigurasjonssiden, med dens filsti og komprimeringsinnstillinger:

Skjermbilde av konfigurasjonssiden for ADF-datasettet.

Og her er en Copy activity for Data Factory in Fabric, hvor komprimering og filvei er innebygd i aktiviteten:

Skjermbilde av Fabric Copy activity komprimeringskonfigurasjon.

Scenario 2: ADF med CDC, SSIS og Airflow

Opprett CDC på nytt som Kopier jobbelementer . For Airflow, kopier DAG-ene dine inn i Fabric s Apache Airflow-tilbud. Kjør SSIS-pakker ved bruk av ADF-pipelines og kall dem fra Fabric.

Scenario 3: Pipeline-oppgradering ved bruk av den innebygde migreringsopplevelsen

Denne guidede, vurderingsbaserte opplevelsen lar deg evaluere beredskap, identifisere kompatibilitetshull og migrere støttede pipelines gradvis til et Fabric-arbeidsområde – alt uten skript. For mer informasjon, se Oppgrader dine Azure Data Factory pipelines til Fabric.

Scenario 4: ADF-elementer i et Fabric-arbeidsområde

Du kan legge til en hel ADF-fabrikk i et Fabric-arbeidsområde som en native gjenstand. Dette lar deg administrere ADF-fabrikker sammen med Fabric-artefakter innenfor samme grensesnitt. ADF-grensesnittet forblir fullt tilgjengelig, slik at du kan overvåke, administrere og redigere ADF-fabrikkelementene direkte fra Fabric-arbeidsområdet. Likevel skjer kjøring av pipelines, aktiviteter og integrasjonskjøretider fortsatt innenfor dine Azure-ressurser.

Denne funksjonen er nyttig for organisasjoner som går over til Fabric, da den gir et samlet bilde av både ADF- og Fabric-ressurser, noe som forenkler administrasjon og planlegging for migrering.

For mer informasjon, se Bring din Azure Data Factory inn i Fabric.