Overview of migrating Azure Synapse Spark to Fabric

Bruk denne artikkelen som utgangspunkt for å migrere Azure Synapse Spark-arbeidsbelastninger til Microsoft Fabric. Det hjelper deg å avgjøre hvilken veiledning du skal bruke, hva som kan migreres direkte, og hvor manuell refaktorering eller validering fortsatt kreves.

Fabric Data Engineering støtter lakehouse, notebook, environment, Spark jobbdefinisjon og pipeline elementer. De fleste Synapse Spark-migreringer innebærer en kombinasjon av elementmigrering, endringer i datatilgang, metadatamigrering, koderefaktorering og validering etter migrering.

Før du overfører

Før du begynner, må du bekrefte at Fabric Data Engineering er riktig sted for arbeidsmengden din. Gå gjennom Spark-kjøretiden, sikkerhetsmodellen, poolmodellen, miljømodellen og datatilgangsmønstrene som din nåværende Synapse-implementering er avhengig av.

Start med disse artiklene:

Hvis du migrerer et eksisterende Synapse-arbeidsområde, planlegg å opprette eller bruke et eksisterende Fabric-arbeidsområde som migreringsmål. Denne artikkelen dekker ikke full arbeidsområde-provisionering eller migrering av arbeidsmengder uten Spark.

Hva kan du migrere?

Synapse-til-Fabric-migrasjon spenner vanligvis over flere arbeidsstrømmer.

Trekkområde Typisk omfang Primærveiledning
Planlegging og vurdering Inventory Spark-pooler, notatbøker, Spark-jobbdefinisjoner, lake-databaser, koblede tjenester og blokkere Fase 1: Migrasjonsstrategi og planlegging
Elementer, koderefaktorering, pooler, konfigurasjoner og biblioteker Notatbøker, Spark-jobbdefinisjoner, Spark-pooler, lake-databasekartlegginger, mssparkutils, lenkede tjenester, filstier, katalog-API-er, koblingsautentisering, miljøer, egendefinerte pooler, Spark-egenskaper, bibliotekskompatibilitet Fase 2: Spark-arbeidsbelastningsmigrering
Hive Metastore og innsjømetadata Databaser, tabeller, partisjoner, administrerte vs. eksterne tabeller Fase 3: Hive Metastore og datamigrering
Datatilgang og pipelines OneLake-snarveier, ADLS Gen2-tilgang, kopieringsaktiviteter, pipeline-migrering Overføre data og datasamlebånd
Sikkerhet, validering og overgang Roller, forbindelser, styring, verifisering, cuttingover-planlegging Fase 4: Sikkerhets- og styringsmigrasjon

Velg din migrasjonsvei

Bruk stien som matcher målet ditt.

  • Du trenger en helhetlig migrasjonsplan. Start med den 4-fasede beste praksis-serien. Dette er det beste inngangspunktet for de fleste produksjonsmigrasjoner.
  • Du vil flytte støttede Spark-gjenstander raskt. Start med Spark Migration Assistant og bruk deretter artiklene om refaktorering og validering for å tette hullene.
  • Du trenger bare hjelp med ett område. Bruk oppgavespesifikke artikler for notatbøker, Spark Job Definitions, pools, biblioteker, Hive Metastore-metadata eller data-/pipeline-migrering.

For de fleste team er den raskeste måten å nærme seg en Synapse Spark-migrering på:

  1. Anmeldelse Sammenlign Fabric og Azure Synapse Spark: Key Differences.
  2. Les fase 1: Migrasjonsstrategi og planlegging.
  3. Kjør Spark Synapse for å Fabric Spark Migration Assistant der det er aktuelt.
  4. Refaktorere notatbøker, Spark-jobber, pooler og biblioteker ved hjelp av Fase 2: Spark arbeidsbelastningsmigrering.
  5. Valider datatilgang, metadata, sikkerhet og cutover-beredskap ved hjelp av de gjenværende artiklene om beste praksis.

Skjermbilde som viser overføringsscenariene.

Migrering fra Synapse Spark til Fabric er vanligvis en kopier-og-tilpasse-prosess snarere enn en direkte flytting på stedet. Du kan migrere mange ressurser raskt, men du bør fortsatt forvente å validere kjøreoppførsel, erstatte Synapse-spesifikke integrasjoner og tilpasse sikkerhet, metadata og driftsmønstre med Fabric.

Best practices-serien

Bruk beste praksis-serien for en strukturert, ende-til-ende migrasjonsvei:

Oppgavespesifikke migrasjonsartikler

Hvis du trenger målrettet veiledning for en spesifikk migreringsoppgave, bruk disse artiklene:

Relatert innhold

  • Last updated on