Phase 4: Sicherheits- und Governancemigration

Dieser Artikel ist Phase 4 von 4 in der Azure Synapse Spark zu Microsoft Fabric Migrationsserie Best Practices.

Verwenden Sie diesen Artikel in der letzten Phase Ihrer Migration, um Workloads zu überprüfen, Sicherheits- und Governance-Kontrollen auszurichten und die Produktionskürzung zu planen. Dieser Artikel enthält Anleitungen zum Sicherheitsmapping und einen Checklisten-gesteuerten Ansatz zur Validierung, Optimierung und Umschaltungsbereitschaft.

In diesem Artikel erfahren Sie, wie Sie:

• Ordnen Sie Synapse RBAC und Netzwerkmuster zu dem Fabric-Arbeitsbereich, OneLake und den verwalteten Netzwerksteuerungen.
• Stellen Sie die Verbindung zu Governance-Workflows wieder her, einschließlich der Integration von Microsoft Purview und Kennzeichnung.
• Verwenden Sie die phasenweise Migrationsprüfliste, um die Umschaltung zu überprüfen, zu optimieren und auszuführen.
• Planen Sie die Außerbetriebnahme von veralteten Synapse Spark-Ressourcen nach erfolgreichem Übergang.

Zugriffskontrolle

• Synapse RBAC-Rollen (Synapse-Administrator, Synapse SQL-Administrator, Synapse Spark-Administrator und andere) werden den Fabric-Arbeitsbereichsrollen zugeordnet (Administrator, Mitglied, Beitragender, Viewer). Das Modell von Fabric ist mit vier Rollen einfacher.

• Synapse verknüpfte Dienste werden durch Fabric Connections ersetzt. Erstellen von Verbindungen über Arbeitsbereichseinstellungen>Verwalten von Verbindungen und Gateways. Ersetzen Sie für Notebook-Code verknüpfte Dienstreferenzen durch Key Vault-basierte Authentifizierung oder direkte Endpunktkonfiguration.

• OneLake RBAC bietet eine differenzierte Datenzugriffskontrolle auf Ordner- und Tabellenebene innerhalb des Lakehouse.

Netzwerksicherheit

• Synapse Managed VNet und Private Endpunkte entsprechen Fabric Managed VNet und Managed Private Endpoints. Beachten Sie, dass Fabric Spark benutzerdefinierte Pools (nicht Starterpools) für die Unterstützung verwalteter privater Endpunkte erfordert.

• Selbstgehostete Integrationslaufzeiten (SHIR) in Synapse werden in Fabric durch Lokale Datengateways (LDG) ersetzt. VNet-IRs werden durch VNet-Datengateways ersetzt.

Governance

Wenn Sie Azure Purview mit Synapse verwenden, bietet Fabric systemeigene Microsoft Purview Integration für Datenkatalog, Linien, Vertraulichkeitsbezeichnungen und Zugriffsrichtlinien. Verbinden Sie Ihr Purview-Konto erneut, um Fabric-Arbeitsbereiche zu scannen.

Migrationscheckliste

Verwenden Sie diese Checkliste, um den Fortschritt ihrer Spark-Migration nachzuverfolgen. Jede Phase baut auf dem vorherigen auf. Schließen Sie alle Elemente in einer Phase ab, bevor Sie zur nächsten wechseln.

Phase 1: Bewerten und Planen

Planungsanleitungen, Migrationsmuster und Funktionsvergleiche finden Sie in Phase 1: Migrationsstrategie und -planung.

• 1.1 Vollständige Spark-Bestandsinventur: Spark Pools, Notizbücher, Spark-Auftragsdefinitionen, Lake-Datenbanken, HMS-Datenbanken (Hive Metastore) und verknüpfte Dienste, die in Notizbüchern verwendet werden.
• 1.2 Überprüfen Sie Unterschiede zwischen Synapse und Fabric in Bezug auf Funktionen. Flagblocker: GPU-Workloads, nicht unterstützte Katalog-APIs, verknüpfte Dienstabhängigkeiten.
• 1.3 Führen Sie den Audit vor der Umgestaltung durch: Durchsuchen Sie alle Notizbücher nach Synapse-spezifischen Mustern (spark.synapse.linkedService, getSecretWithLS, TokenLibrary, synapsesql). Zählen Sie die betroffenen Notebooks.
• 1.4 Bibliothekskompatibilität überprüfen: Führen Sie pip freeze auf Synapse-Pools aus, vergleichen Sie den Vergleich mit Fabric integrierten Runtime 1.3-Bibliotheken. Auflisten von Bibliotheken, die vorinstalliert sein müssen.
• 1.5 Erstellen von Fabric-Arbeitsbereichen, Bereitstellung von Kapazität und Erstellen von Zielobjekten des Lakehouse.
• 1.6 Exportieren von Spark-Poolkonfigurationen, benutzerdefinierten Bibliotheken und Spark-Eigenschaften aus Synapse Studio.

Phase 2: Einrichten von Verbindungen und Anmeldeinformationen

Anleitungen zum Austausch und zur Authentifizierung von verknüpften Diensten finden Sie in Phase 2: Spark-Arbeitslastmigration und Phase 4: Sicherheits- und Governance-Migration.

• 2.1 Erfassen Sie alle mit Synapse verknüpften Dienste, die durch Notebooks, Spark-Auftragsdefinitionen und Lakehouse-Datenzugriff verwendet werden.
• 2.2 Erstellen Sie Fabric-Verbindungen für externe Datenquellen (ADLS Gen2, Cosmos DB, Azure SQL und andere) über Arbeitsbereichseinstellungen>Verbindungen und Gateways verwalten.
• 2.3 Richten Sie Azure Key Vault mit geheimen Schlüsseln für Datenquellen ein, die eine schlüsselbasierte Authentifizierung erfordern (Cosmos DB-Schlüssel, Speicherkontoschlüssel, Kusto-Token). Konfigurieren Sie Zugriffsrichtlinien für Ihre Fabric Arbeitsbereichsidentität.
• 2.4 Konfigurieren Sie Dienstprinzipal-Credentials für den OAuth-Zugriff auf ADLS Gen2: Registrieren Sie die App in Entra ID, erteilen Sie die Rolle "Storage Blob Data Contributor", und notieren Sie sich die Client-ID, das Geheimnis und den Mandanten.
• 2.5 Überprüfen Sie die Konnektivität: Testen Key Vault geheimen Abruf und Speicherkontozugriff von einem Fabric-Notizbuch aus, bevor Sie fortfahren.

Phase 3: Migrieren von Daten und Hive-Metastore

Informationen zu Lake-Metadaten und Datenzugriffsmigrationsanleitungen finden Sie in Phase 3: Hive Metastore- und Datenmigration sowie Migrieren von Daten und Pipelines.

• 3.1 Erstellen von OneLake-Verknüpfungen zu vorhandenen ADLS Gen2-Pfaden (Nullkopie, bevorzugter Ansatz). Verwenden Sie die in Phase 2 für den datengatewaybasierten Zugriff eingerichteten Fabric Connections.
• 3.2 Für Nicht-Delta-Dateien (CSV, JSON, Parquet) Verknüpfungen im Abschnitt "Dateien" erstellen. Wenn eine Datenkopie erforderlich ist, verwenden Sie AzCopy- oder Data Factory Copy Activity.
• 3.3 Migrieren von Hive-Metastore-Objekten. Wählen Sie einen Ansatz aus: Option A: Führen Sie HMS-Export-/Importnotizbücher für alle Metadaten aus. Option B: Verwenden Sie Migration Assistant für Delta Lake DB-Tabellen + HMS-Export/Import nur für Nicht-Delta.
• 3.4 Überprüfen der automatischen Registrierung der Delta-Tabelle im Lakehouse Explorer.
• 3.5 Überprüfen Sie, ob alle importierten Tabellen und Verknüpfungen im Lakehouse Explorer sichtbar sind und von Notizbüchern aus zugänglich sind.

Phase 4: Migrieren von Spark-Workloads

Anleitungen zur Elementmigration, Codeumgestaltung und Umgebungseinrichtung finden Sie in Phase 2: Spark workload migration.

• 4.1 Spark-Migration Assistant für Notizbücher, Spark-Auftragsdefinitionen, Spark-Pools und Lake-Datenbanken ausführen. Überprüfen Sie den Migrationsbericht auf Fehler und Warnungen.
• 4.2 Erstellen Fabric Umgebungen mit Ziel-Spark-Laufzeit, Poolkonfiguration und benutzerdefinierten Bibliotheken. Die fehlenden Bibliotheken aus Phase 1 vorab installieren.
• 4.3 Notizbuch und SJD-Code umgestalten: ersetzen Sie mssparkutils durch notebookutils, Aktualisieren Sie Dateipfade in OneLake abfss:// Pfade, ersetzen Sie verknüpfte Dienstverweise durch Key Vault oder Fabric Connections, und ersetzen Sie nicht unterstützte spark.catalog-Methoden durch Spark SQL-Entsprechungen.
• 4.4 Refactor Connectoren: Kusto/ADX – Ersetzen Sie den verknüpften Dienst accessToken mit getToken(). Cosmos DB - ersetzen getSecretWithLS durch getSecret(akvName, secret).
• 4.5 Ersetzen Sie Synapse-Tokenanbieter (LinkedServiceBasedTokenProvider, TokenLibrary) durch standard OAuth ClientCredsTokenProvider über spark.conf.set().
• 4.6 Testen Sie die überarbeiteten Notizbücher und SJDs umfassend an den Daten (Phase 3) und den Verbindungen (Phase 2).

Phase 5: Sicherheit, Governance und Netzwerk

Anleitungen zu Sicherheit, Governance und Netzwerkzuordnung finden Sie in Phase 4: Sicherheits- und Governancemigration.

• 5.1 Zuordnen von Synapse RBAC-Rollen zu Fabric Arbeitsbereichsrollen (Administrator, Mitglied, Mitwirkender, Viewer).
• 5.2 Konfigurieren Sie OneLake RBAC für feinkörnige Datenzugriffskontrolle auf Ordner- und Tabellenebene.
• 5.3 Konfigurieren von verwalteten VNet- und verwalteten privaten Endpunkten für Spark-Workloads, die auf private Datenquellen zugreifen (erfordert benutzerdefinierte Pools).
• 5.4 Ersetzen Sie SHIR durch lokales Datengateway (OPDG) und ersetzen Sie VNet IR durch das VNet-Datengateway.
• 5.5 Verbinden Sie Microsoft Purview erneut für Governance, Herkunft und Vertraulichkeitskennzeichnungen.
• 5.6 Überprüfen und wenden Sie Vertraulichkeitsbezeichnungen auf migrierte Lakehouse-Elemente nach Bedarf an.

Phase 6: Optimieren und Überprüfen

Anleitungen zur Validierung nach der Migration und Betriebsbereitschaft finden Sie in Phase 4: Sicherheits- und Governancemigration.

• 6.1 Aktivieren Sie die Native Execution Engine (NEE) zur Verbesserung der Spark-Leistung bei Parquet- und Delta-Workloads.
• 6.2 Führen Sie OPTIMIZE VORDER auf Tabellen aus, die von Power BI Direct Lake oder dem SQL-Analyseendpunkt verwendet werden.
• 6.3 Parallele Workloads ausführen und Spark-Auftragsergebnisse und -leistung zwischen Synapse und Fabric vergleichen.
• 6.4 Leiten Sie nachgelagerte Konsumenten, einschließlich Power BI-Berichte, APIs und Anwendungen, an Fabric-Endpoints um.
• 6.5 Überwachen Sie Fabric-Workloads mithilfe des Monitoring Hubs und des Diagnose-Emitters für mindestens ein bis zwei Wochen.

Phase 7: Übernahme

Zur Abschlussvalidierung, nachgelagerten Umleitung und Leitlinien zur Umstellung siehe Phase 4: Sicherheits- und Governancemigration.

• 7.1 Bestätigen Sie, dass alle migrierten Notizbücher, SJDs und Spark-Aufträge erfolgreich in Fabric ausgeführt werden.
• 7.2 Überprüfen der Datenintegrität durch Zeilenanzahl, Schemaüberprüfung und Abfrageergebnisvergleich.
• 7.3 Kommunizieren Sie die Übernahme an die Projektbeteiligten und aktualisieren Sie die Dokumentation.
• 7.4 Stilllegung von Synapse Spark-Pools, Notebooks und zugehörigen Ressourcen.

Verwandte Inhalte

• Phase 1: Migrationsstrategie und -planung
• Phase 2: Spark-Arbeitslastmigration
• Phase 3: Hive Metastore und Datenmigration
• Phase 4: Sicherheits- und Governancemigration
• Migrate von Azure Synapse Spark zu Fabric (Übersicht)
• Spark Synapse zu Fabric Spark Migration Assistant
• Compare Fabric und Azure Synapse Spark: Wichtige Unterschiede
• Migrieren von Spark-Pools von Azure Synapse zu Fabric
• Migrate Spark Libraries von Azure Synapse zu Fabric
• Migrieren von Hive-Metastore-Metadaten
• Synapse Spark Runtime – Bibliotheksmanifeste
• Fabric Assessment Tool