Fase 4: Sikkerhets- og styringsmigrasjon

Denne artikkelen er fase 4 av 4 i Azure Synapse Spark to Microsoft Fabric migreringsbeste praksis-serien.

Bruk denne artikkelen i siste fase av migreringen for å validere arbeidsbelastninger, tilpasse sikkerhets- og styringskontroller, og planlegge produksjonskuttet. Denne artikkelen gir veiledning om sikkerhetskartlegging og en sjekklistebasert tilnærming til validering, optimalisering og cutover-beredskap.

I denne artikkelen lærer du hvordan du:

  • Kartlegg Synapse RBAC og nettverksmønstre til Fabric workspace, OneLake og administrerte nettverkskontroller.
  • Koble sammen styringsarbeidsflyter, inkludert integrasjon og merking av Microsoft Purview.
  • Bruk sjekklisten for fase-for-fase migrasjon for å validere, optimalisere og utføre cutover.
  • Planlegger avvikling av gamle Synapse Spark-ressurser etter vellykket overgang.

Tilgangskontroll

  • Synapse RBAC-roller (Synapse Administrator, Synapse SQL Administrator, Synapse Spark Administrator og andre) kartlegges til Fabric workspace-roller (Admin, Member, Contributor, Viewer). Fabric sin modell er enklere med fire roller.

  • Synapse-tilknyttede tjenester erstattes av Fabric Connections. Lag tilkoblinger via arbeidsplassinnstillinger>Administrer tilkoblinger og gatewayer. For notatbokkode, bytt ut lenkede tjenestereferanser med Key Vault-basert autentisering eller direkte endepunktskonfigurasjon.

  • OneLake RBAC gir finkornet datatilgang på mappe- og tabellnivå i Lakehouse.

Nettverkssikkerhet

  • Synapse Managed VNet og Private Endpoints kartlegges til Fabric Managed VNet + Managed Private Endpoints. Merk at Fabric Spark krever Custom Pools (ikke Starter Pools) for støtte for administrert privat endepunkt.

  • Selvhostede Integration Runtimes (SHIR) i Synapse erstattes av On-premises Data Gateways (OPDG) i Fabric. VNet IR-er erstattes av VNet Data Gateways.

Forvaltning

Hvis du bruker Azure Purview med Synapse, tilbyr Fabric innebygd integrasjon med Microsoft Purview for datakatalog, opprinnelse, følsomhetsetiketter og tilgangspolicyer. Koble til Purview-kontoen din igjen for å skanne Fabric-arbeidsområder.

Sjekkliste for overføring

Bruk denne sjekklisten for å følge fremdriften gjennom Spark-migreringen din. Hver fase bygger videre på den forrige. Fullfør alle oppgaver i en fase før du går videre til neste.

Fase 1: Vurder og planlegg

For planleggingsveiledning, migrasjonsmønstre og sammenligning av funksjoner, se Fase 1: Migrasjonsstrategi og planlegging.

  • 1.1 Fullstendig Spark-ressursinventar: Spark-pooler, notatbøker, Spark-jobbdefinisjoner, lake-databaser, Hive Metastore (HMS)-databaser og tilknyttede tjenester brukt i notatbøker.
  • 1.2 Gjennomgå forskjeller i Synapse vs. Fabric funksjoner. Flaggblokkere: GPU-arbeidsbelastninger, ikke-støttede katalog-API-er, lenkede tjenesteavhengigheter.
  • 1.3 Kjør pre-refaktoreringsrevisjonen: søk i alle notatbøker etter Synapse-spesifikke mønstre (spark.synapse.linkedService, getSecretWithLS, TokenLibrary, ). synapsesql Telle påvirkede notatbøker.
  • 1.4 Sjekk bibliotekkompatibilitet: kjør pip freeze på Synapse-pooler, sammenlign med Fabric innebygde Runtime 1.3-biblioteker. List opp biblioteker som må forhåndsinstalleres.
  • 1.5 Opprett Fabric arbeidsområder, tilrettelegg kapasitet, og opprett målrettede Lakehouse-elementer.
  • 1.6 Eksporter Spark-poolkonfigurasjoner, egendefinerte biblioteker og Spark-egenskaper fra Synapse Studio.

Fase 2: Etabler tilkoblinger og legitimasjoner

For veiledning om utskifting og autentisering av tilknyttede tjenester, se fase 2: Spark arbeidsbelastningsmigrering og fase 4: Sikkerhets- og styringsmigrering.

  • 2.1 Inventar alle Synapse-tilknyttede tjenester brukt av notatbøker, Spark-jobbdefinisjoner og Lakehouse-datatilgang.
  • 2.2 Opprett Fabric tilkoblinger for eksterne datakilder (ADLS Gen2, Cosmos DB, Azure SQL og andre) via Workspace Settings>Administrer tilkoblinger og gatewayer.
  • 2.3 Sett opp Azure Key Vault med hemmeligheter for datakilder som krever nøkkelbasert autentisering (Cosmos DB-nøkler, lagringskontonøkler, Kusto-tokens). Konfigurer tilgangspolicyer for din Fabric-arbeidsområdeidentitet.
  • 2.4 Konfigurer tjenesteprinsipp-legitimasjoner for ADLS Gen2 OAuth-tilgang: registrer appen i Entra ID, gi Storage Blob Data Contributor-rollen, noter klient-ID/hemmelig/leietaker.
  • 2.5 Verifiser tilkobling: test Key Vault hemmelig henting og lagringskonto fra en Fabric notatbok før du fortsetter.

Fase 3: Migrer data og Hive Metastore

For veiledning om migrering av innsjømetadata og data-tilgang, se fase 3: Hive Metastore og datamigrering og Migrer data og pipelines.

  • 3.1 Lag OneLake-snarveier til eksisterende ADLS Gen2-stier (null-kopi, foretrukket tilnærming). Bruk Fabric Connections som er satt opp i fase 2 for datagateway-basert tilgang.
  • 3.2 For ikke-Delta-filer (CSV, JSON, Parquet), lag snarveier i Filer-seksjonen. Hvis datakopiering er nødvendig, bruk AzCopy eller Data Factory Copy Activity.
  • 3.3 Migrer Hive Metastore-objekter. Velg én tilnærming: Alternativ A: Kjør HMS-eksport/import av notatbøker for all metadata. Alternativ B: Bruk Migration Assistant for Delta lake DB-tabeller + HMS eksport/import kun for ikke-Delta.
  • 3.4 Valider automatisk registrering av Delta-tabellen i Lakehouse Explorer.
  • 3.5 Sjekk at alle importerte tabeller og snarveier er synlige i Lakehouse Explorer og tilgjengelige fra notatbøker.

Fase 4: Migrer Spark-arbeidsbelastninger

For elementmigrering, koderefaktorering og retningslinjer for miljøoppsett, se fase 2: Spark-arbeidsbelastningsmigrering.

  • 4.1 Kjør Spark Migration Assistant for notatbøker, Spark-jobbdefinisjoner, Spark-pooler og lake-databaser. Gå gjennom migreringsrapporten for feil og advarsler.
  • 4.2 Lag Fabric miljøer med målrettet Spark-kjøretid, poolkonfigurasjon og tilpassede biblioteker. Forinstaller manglende biblioteker identifisert i fase 1.
  • 4.3 Refactor notebook og SJD-kode: erstatte mssparkutils med notebookutils, oppdater filstier til OneLake abfss:// stier, erstatte lenkede tjenestereferanser med Key Vault eller Fabric Connections, og erstatte ikke-støttede spark.catalog metoder med Spark SQL-ekvivalenter.
  • 4.4 Refaktor-kontakter: Kusto/ADX — erstatter koblet tjeneste med accessToken via getToken(). Cosmos DB — erstatt getSecretWithLS med getSecret(akvName, secret).
  • 4.5 Bytt ut Synapse-tokenleverandører (LinkedServiceBasedTokenProvider, TokenLibrary) med standard OAuth ClientCredsTokenProvider via spark.conf.set().
  • 4.6 Test refaktorerte notatbøker og SJD-er fra ende til ende mot data (Fase 3) og tilkoblinger (Fase 2).

Fase 5: Sikkerhet, styring og nettverk

For veiledning om sikkerhet, styring og nettverkskartlegging, se Fase 4: Sikkerhets- og styringsmigrasjon.

  • 5.1 Kartlegg Synapse RBAC-roller til Fabric arbeidsplassroller (Administrator, Medlem, Bidragsyter, Viser).
  • 5.2 Konfigurer OneLake RBAC for finkornet datatilgang på mappe- og tabellnivå.
  • 5.3 Konfigurer administrerte VNet og administrerte private endepunkter for Spark-arbeidsbelastninger som får tilgang til private datakilder (krever tilpassede pooler).
  • 5.4 Erstatt SHIR med On-premises Data Gateway (OPDG), og erstatt VNet IR med VNet Data Gateway.
  • 5.5 Reconnect Microsoft Purview for styrings-, linje- og sensitivitetsetiketter.
  • 5.6 Gjennomgå og påføre sensitivitetsetiketter på migrerte Lakehouse-elementer etter behov.

Fase 6: Optimaliser og valider

For validering etter migrasjon og veiledning om produksjonsberedskap, se Fase 4: Sikkerhets- og styringsmigrasjon.

  • 6.1 Aktiver Native Execution Engine (NEE) for Spark-ytelsesforbedring på Parquet- og Delta-arbeidsbelastninger.
  • 6.2 Kjør OPTIMIZE VORDER på tabeller som brukes av Power BI Direct Lake eller SQL-analyseendepunktet.
  • 6.3 Kjør parallelle arbeidsbelastninger og sammenlign Spark-jobbresultater og ytelse mellom Synapse og Fabric.
  • 6.4 Omdiriger nedstrøms forbrukere, inkludert Power BI rapporter, API-er og applikasjoner, til Fabric endepunkter.
  • 6.5 Overvåk Fabric arbeidsbelastninger ved å bruke Monitoring Hub og Diagnostic Emitter i minst én til to uker.

Fase 7: Cutover

For endelig validering, nedstrøms omdirigering og veiledning om cutover, se Fase 4: Sikkerhets- og styringsmigrasjon.

  • 7.1 Bekreft at alle migrerte notatbøker, SJD-er og Spark-jobber kjører vellykket i Fabric.
  • 7.2 Verifiser dataintegritet gjennom radtelling, skjemavalidering og sammenligning av spørringsresultater.
  • 7.3 Kommuniser cutover til interessenter og oppdater dokumentasjonen.
  • 7.4 Avvikle Synapse Spark-pooler, notatbøker og relaterte ressurser.

Note

Etter migrering, vurder å sette opp Fabric Git-integrasjon for dine migrerte notatbøker og Spark-jobbdefinisjoner. Fabric støtter Azure DevOps Git-integrasjon for kildekontroll, forgreining og distribusjonspipelines. I motsetning til Synapse (som bruker ARM-maler for CI/CD), bruker Fabric en arbeidsområdebasert modell hvor du kobler et arbeidsområde til en Git-gren og synkroniserer elementer direkte. Notatbøker, miljøer og SJD-er støtter alle Git-integrasjon. Sett opp distribusjonspipelines (Dev → Test → Prod) for å håndtere promotering på tvers av miljøer.

Relatert innhold

  • Last updated on