Migrering beste praksis for Azure Data Factory til Fabric Data Factory

Microsoft Fabric samler Microsoft sine analyseverktøy i én enkelt SaaS-plattform, som tilbyr robuste muligheter for arbeidsflytorkestrering, dataflyt, replikering og transformasjon i stor skala. Fabric Data Factory bygger på Azure Data Factory (ADF), noe som gjør det til et ideelt valg for å modernisere dataintegrasjonsløsninger.

Denne guiden utforsker migreringsstrategier, vurderinger og tilnærminger for å hjelpe deg med å oppgradere fra Azure Data Factory til Fabric Data Factory.

Vurderinger før overføring

Før du migrerer, bør du vurdere hva du skal gjenbruke, oversette eller utforme på nytt. Følg disse trinnene for å sikre en jevn overgang:

  1. Identifiser godkjenningsmønstre, for eksempel administrert identitet eller nøkkelbasert godkjenning.
  2. Se gjennom nettverkskrav, inkludert private endepunkter og gatewayer.
  3. Kartlegg planlegging og utløs semantikk, og juster overvåkings- og varslingsoppsett.
  4. Sammenlign ADF-funksjoner med deres Fabric-motparter, og merk eventuelle hull som SSIS eller dataflyt.
  5. Definer ikke-funksjonelle mål, for eksempel serviceavtaler, gjennomstrømming, kostnadsgrenser og observerbarhet.
  6. Bygg et testscenario med eksempeldatasett og forventede resultater for objektivt å sammenligne ADF- og Fabric-kjøringer.
  7. Planlegg for hemmelighetsrotasjon, navnekonvensjoner og arbeidsområdetaksonomi, slik at overføringen forbedrer – ikke bare reproduserer – den gjeldende dataintegreringsstrategien.

En trinnvis tilnærming med side-ved-side validerings- og tilbakerullingsplaner minimerer risiko, samtidig som den muliggjør raskere gjennomføring, sentralisert overvåking og dypere integrasjon med Microsoft Fabric.

For store migreringer, vurder å samarbeide med sertifiserte Microsoft-partnere eller ditt Microsoft account-team for veiledning.

Tilkoblinger, koblede tjenester og datasett

I Azure Data Factory (ADF) definerer koblede tjenester og datasett tilkoblinger og datastrukturer. I Fabric samsvarer disse med forbindelser og aktivitetsinnstillinger, med sterkere fokus på arbeidsplassnivå gjenbruk og administrert identitet. Slik tilpasser du ADF-ressursene dine:

  1. Se Connector-kontinuitet mellom Azure Data Factory og Fabric for å bekrefte støtte for datakildene og sinkene dine.
  2. Konsolider overflødige tilkoblinger for å effektivisere administrasjonen.
  3. Ta i bruk administrert identitet for sikker og konsekvent godkjenning.
  4. Standardiser parametrisering av mapper og tabeller ved hjelp av klare navnekonvensjoner, for eksempel: conn-sql-warehouse-sales eller ds-lh-raw-orders.

For å sikre konsistens og skalerbarhet må du dokumentere hver kilde og destinasjon fullstendig med:

  • Eiere
  • Følsomhetsnivåer
  • Prøv på nytt-innstillinger

Denne dokumentasjonen hjelper deg med å male operasjoner på tvers av pipeliner og forbedrer styringen.

Integrasjonskjøretider og OPDG, virtuell nettverksgateway

Azure Data Factory (ADF) bruker Integration Runtimes (IRs for å definere beregningsressurser for databehandling. Dette omfatter:

  • Cloud IRs for Azure-hostet databehandling.
  • Selvdriftede IR-er (SHIR-er) for lokale eller private nettverkskilder.
  • SSIS IRs for SQL Server Integration Services.
  • VNet-aktiverte IR-er for sikker nettverkstilkobling.

I Fabric mappes disse til cloud execution, On-premises Data Gateway (OPDG) og Virtual Network Data Gateway alternativer. Slik planlegger du overføringen:

  1. Identifiser pipeliner som er avhengige av SHIR-er, og planlegg gateway-tilordning og gjennomstrømmingsstørrelse.
  2. Valider DNS, utgående trafikk, brannmurregler og godkjenning for hver kobling.
  3. Øv på failover-scenarioer for å sikre pålitelighet.
  4. Når det er mulig, kan du overføre til private endepunkter eller datagatewayer for virtuelle nettverk for å forenkle sikkerhetsgjennomganger og redusere driftskostnader.

Fabric forenkler beregningshåndtering ved å bruke skybaserte ressurser innenfor dine Fabric-kapasiteter. SSIS IR-er er ikke tilgjengelige i Fabric. For lokal tilkobling bruker du den lokale datagatewayen (OPDG). For sikker nettverkstilkobling, bruk Virtual Network Data Gateway.

Ved overføring:

  • Offentlige nettverk Azure IR-er trenger ikke flyttes.
  • Gjenskap SHIR-er som OPDG-er.
  • Erstatt VNet-aktiverte Azure IR-er med Virtual Network Data Gateways.

Forskjeller i pipelineaktivitet

Alle kjerneaktiviteter i Azure Data Factory (ADF), som Copy, Lookup, Stored Procedure/SQL Script, Web og Control Flow, har direkte ekvivalenter i Fabric. Det er imidlertid noen forskjeller i egenskaper, uttrykkssyntaks og grenser. Når du migrerer, bør du se gjennom følgende:

  • Retningslinjer og tidsavbrudd for nye forsøk.
  • Pagineringsinnstillinger for REST-kilder.
  • Binære kontra tabellkopieringskonfigurasjoner.
  • Foreach og filtermønstre.
  • Systemvariabler som brukes i dynamisk innhold.

Fabric gir ofte flere native alternativer for visse oppgaver. Bruk for eksempel SQL-skript i et lager i stedet for et generisk lagret prosedyrekall for bedre avstamming og overvåking. Hvis du vil effektivisere overføringen, sentraliserer du vanlige uttrykk som baner, datoer og leierspesifikke URI-er i pipelineparametere. Dette reduserer avdrift og fremskynder testingen.

For mer informasjon, se Aktivitetskontinuitet mellom Azure Data Factory og Fabric.

Forskjeller i dataflyt

Azure Data Factory (ADF) Mapping Data Flows mapper ikke direkte til Fabric. I stedet vil du vanligvis omarbeide dem ved hjelp av ett av følgende alternativer:

  • Dataflow Gen2 for radsetttransformasjoner og styrte lavkodetransformasjoner.
  • Fabric Warehouse SQL for settbaserte ELT-oppgaver, som MERGE eller ELT-operasjoner nær dataene.
  • Spark-notatblokker for avanserte transformasjoner, kompleks logikk eller behandling i stor skala.

Når du migrerer, må du validere følgende:

  • Datatyper og nullbehandling.
  • Surrogatnøkler og sakte skiftende dimensjoner.
  • Idempotente ELT-mønstre, som iscenesettelse og MERGE, for å sikre forutsigbare repriser.

Hvis du vil ha informasjon om overføringsscenarioer, kan du se Overføre fra Dataflow Gen1 til Dataflow Gen2.

Global parameters in Azure Data Factory

Fabric bruker arbeidsområdenivå Variable Libraries for å definere konstanter på tvers av Fabric elementer. Når du migrerer til Microsoft Fabric Data Factory, må du konvertere dine globale parametere i Azure Data Factory til variable biblioteker.

For fullstendig veiledning om konvertering, se Convert ADF Global Parameters to Fabric Variable Libraries.

Azure Marketplace partnertilbud

Pålitelige migreringspartnere, som Bitwise Global, tilbyr verktøy for å hjelpe deg med migreringen. Disse verktøyene kan:

  • Skann ditt Azure Data Factory (ADF)-miljø.
  • Generer mål-Fabric-artefakter.
  • Utfør konsekvensanalyse og avstamningssporing.
  • Lag automatiserte testplaner.

Disse løsningene er spesielt nyttige hvis du har:

  • Hundrevis av rørledninger.
  • Ulike kontakter.
  • Strenge krav til nedetid.

Partnerverktøy standardiserer tilordningsregler, genererer konverteringsrapporter og kjører parallelle valideringstester. Dette gjør at du kan sammenligne radantall, kontrollsummer og ytelse mellom gamle og nye miljøer. Selv om du ikke bruker en partner for hele overføringen, kan oppdagelses- og vurderingsmodulene deres hjelpe deg med å starte den interne planleggingen og redusere usikkerheter.

Bruk AI-verktøy

Store språkmodeller (LLM-er) som Microsoft Copilot, ChatGPT og Claude kan gjøre migreringsoppgaver raskere. Disse verktøyene er nyttige for:

  • Refaktorering av uttrykk.
  • Converting Azure Data Factory (ADF) JSON to Fabric syntax.
  • Skrive MERGE-setninger.
  • Generere tilkoblingsmaler.
  • Utarbeide valideringsskript.

Du kan også bruke dem til å opprette dokumentasjon, for eksempel runbooks, dataordlister og sjekklister for overføring, slik at teknikere og operatører holder seg på linje. Hold imidlertid disse verktøyene i løkken, ikke ansvarlig:

  • Unngå å lime inn sensitiv informasjon i AI-verktøy.
  • Valider alle elementer i et utviklingsmiljø.
  • Bruk automatiserte tester som radtellinger, skjemasammenligninger og kontroller av forretningsregler – for å fange opp subtile problemer, for eksempel typeavvik eller nasjonal spesifikk datoanalyse.

For mer informasjon, se Use Copilot in Data Factory og AI i Microsoft Fabric.

Overføringsbaner

Overføringsbaner avhenger av ADF-ressursene og deres funksjonsparitet. Alternativene omfatter:

Relatert innhold

Sammenlign Azure Data Factory med Data Factory i Fabric

  • Last updated on