Bewährte Methoden für die Migration für Azure Data Factory zum Fabric Data Factory

Microsoft Fabric vereint die Analysetools Microsoft in einer einzigen SaaS-Plattform und bietet stabile Funktionen für die Workflow-Orchestrierung, Datenbewegung, Replikation und Transformation im großen Maßstab. Fabric Data Factory baut auf Azure Data Factory (ADF) auf und ist eine ideale Wahl für die Modernisierung von Datenintegrationslösungen.

In diesem Leitfaden werden Migrationsstrategien, Überlegungen und Ansätze erläutert, die Ihnen beim Upgrade von Azure Data Factory auf Fabric Data Factory helfen.

Überlegungen vor der Migration

Bevor Sie migrieren, bewerten Sie, was wiederverwendet, übersetzt oder neu gestaltet werden soll. Führen Sie die folgenden Schritte aus, um einen reibungslosen Übergang sicherzustellen:

  1. Identifizieren Sie Authentifizierungsmuster, z. B. verwaltete Identität oder schlüsselbasierte Authentifizierung.
  2. Überprüfen Sie die Netzwerkanforderungen, einschließlich privater Endpunkte und Gateways.
  3. Stimmen Sie die Planung und Triggersemantik ab und richten Sie Überwachungs- und Warnungskonfigurationen aus.
  4. Vergleichen Sie ADF-Features mit ihren entsprechenden Funktionen in Fabric und notieren Sie dabei eventuelle Lücken wie SSIS oder Datenflüsse.
  5. Definieren Sie nicht funktionsfähige Ziele, z. B. SLAs, Durchsatz, Kostenlimits und Observability.
  6. Erstellen Sie ein Testszenario mit Beispieldatensätzen und erwarteten Ausgaben, um ADF- und Fabric-Ausführung objektiv zu vergleichen.
  7. Planen Sie die Geheimnisrotation, Namenskonventionen und Arbeitsbereichstaxonomie, damit Ihre Migration nicht nur Ihre aktuelle Datenintegrationsstrategie reproduziert, sondern auch verbessert.

Ein phasenweiser Ansatz mit parallelen Validierungs- und Rollbackplänen minimiert das Risiko und ermöglicht eine schnellere Ausführung, zentrale Überwachung und eine tiefere Integration mit Microsoft Fabric.

Bei großen Migrationen sollten Sie sich mit zertifizierten Microsoft Partnern oder Ihrem Microsoft account Team um Anleitungen bemühen.

Verbindungen, verknüpfte Dienste und Datasets

In Azure Data Factory (ADF) definieren verknüpfte Dienste und Datasets Verbindungen und Datenstrukturen. In Fabric werden diese mit Verbindungen und Aktivitätseinstellungen verknüpft, wobei der Schwerpunkt stärker auf der Wiederverwendung und der verwalteten Identität auf der Arbeitsbereichsebene liegt. Hier erfahren Sie, wie Sie Ihre ADF-Ressourcen anpassen:

  1. Überprüfen Sie die Verbindungskontinuität zwischen Azure Data Factory und Fabric, um sicherzustellen, dass Ihre Datenquellen und -senken unterstützt werden.
  2. Konsolidieren Sie redundante Verbindungen, um die Verwaltung zu optimieren.
  3. Nutzen Sie verwaltete Identitäten für sichere und konsistente Authentifizierung.
  4. Standardisieren Sie die Ordner- und Tabellenparameterisierung mithilfe eindeutiger Benennungskonventionen, z. B.: conn-sql-warehouse-sales oder ds-lh-raw-orders.

Um Konsistenz und Skalierbarkeit zu gewährleisten, dokumentieren Sie jede Quelle und jedes Ziel vollständig mit:

  • Inhaber
  • Vertraulichkeitsstufen
  • Wiederholungseinstellungen

Diese Dokumentation hilft beim Templatisieren von Abläufen über Pipelines hinweg und verbessert die Governance.

Integrationslaufzeiten und OPDG, virtuelles Netzwerkgateway

Azure Data Factory (ADF) verwendet Integration Runtimes (IRs) zum Definieren von Computeressourcen für die Datenverarbeitung. Dazu gehören:

  • Cloud IRs für in Azure gehostete Computing-Dienste.
  • Selbst gehostete IRs (SHIRs) für lokale oder privat vernetzte Quellen.
  • SSIS IRs für SQL Server Integration Services.
  • VNet-fähige IRs für sichere Netzwerkkonnektivität.

In Fabric werden diese Cloud-Ausführung, On-premises Data Gateway (OPDG) und Virtual Network Data Gateway zugeordnet. Hier erfahren Sie, wie Sie Ihre Migration planen:

  1. Identifizieren Sie Pipelines, die auf SHIRs basieren, und planen Sie die Gatewayzuordnung und die Durchsatzplanung.
  2. Überprüfen Sie DNS, Ausgang, Firewallregeln und Authentifizierung für jeden Connector.
  3. Testen Sie Failoverszenarien, um die Zuverlässigkeit sicherzustellen.
  4. Migrieren Sie nach Möglichkeit zu privaten Endpunkten oder virtuellen Netzwerkdatengateways, um Sicherheitsüberprüfungen zu vereinfachen und den Betriebsaufwand zu reduzieren.

Fabric vereinfacht die Berechnungsverwaltung mithilfe von cloudbasierten Ressourcen innerhalb Ihrer Fabric Kapazitäten. SSIS-IRs sind in Fabric nicht verfügbar. Verwenden Sie für die lokale Konnektivität das lokale Datengateway (OPDG). Verwenden Sie für sichere Netzwerkkonnektivität das Virtual Network Data Gateway.

Bei der Migration:

  • Azure-IRs des öffentlichen Netzwerks müssen nicht verschoben werden.
  • Erstellen Sie SHIRs als OPDGs neu.
  • Ersetzen Sie VNet-fähige Azure-IRs durch Virtual Network-Datengateways.

Unterschiede bei Pipelineaktivitäten

Alle Kernaktivitäten in Azure Data Factory (ADF), z. B. Copy, Lookup, Stored Procedure/SQL Script, Web und Control Flow, verfügen über direkte Entsprechungen in Fabric. Es gibt jedoch einige Unterschiede bei Eigenschaften, Ausdruckssyntax und Grenzwerten. Überprüfen Sie bei der Migration Folgendes:

  • Richtlinien für Wiederholungen und Zeitlimits.
  • Paginierungseinstellungen für REST-Quellen.
  • Konfigurationen für binäre und tabellarische Kopien.
  • Foreach- und Filtermuster.
  • Systemvariablen, die in dynamischen Inhalten verwendet werden.

Fabric bietet häufig nativere Optionen für bestimmte Aufgaben. Verwenden Sie z. B. SQL-Skript in einem Warehouse anstelle eines allgemeinen gespeicherten Prozeduraufrufs, um eine bessere Nachvollziehbarkeit und Überwachung zu ermöglichen. Um die Migration zu optimieren, zentralisieren Sie allgemeine Ausdrücke wie Pfade, Datumsangaben und mandantenspezifische URIs in Pipelineparameter. Dies reduziert Drift und beschleunigt tests.

Weitere Informationen finden Sie unter Activity Continuity between Azure Data Factory and Fabric.

Unterschiede bei Datenflüssen

Azure Data Factory (ADF) Mapping Data Flows werden nicht direkt Fabric zugeordnet. Stattdessen überarbeiten Sie sie normalerweise mit einer der folgenden Optionen:

  • Dataflow Gen2 für Rowset-Transformationen und gesteuerte Low-Code-Transformationen.
  • Fabric Warehouse SQL für setbasierte ELT-Vorgänge wie MERGE- oder ELT-Vorgänge in der Nähe der Daten.
  • Spark-Notebooks für fortgeschrittene Transformationen, komplexe Logik oder großangelegte Verarbeitung.

Überprüfen Sie bei der Migration Folgendes:

  • Datentypen und Nullbehandlung.
  • Ersatzschlüssel und langsam veränderliche Dimensionen.
  • Idempotente ELT-Muster, z. B. Staging und MERGE, um vorhersehbare Wiederholungen sicherzustellen.

Migrationsszenarien finden Sie unter Migrieren von Dataflow Gen1 zu Dataflow Gen2.

Globale Parameter in Azure Data Factory

Fabric verwendet Variable Libraries auf Arbeitsbereichsebene, um Konstanten für Fabric Elemente zu definieren. Wenn Sie zu Microsoft Fabric Data Factory migrieren, müssen Sie Ihre Azure Data Factory globalen Parameter in Variablenbibliotheken konvertieren.

Vollständige Konvertierungsanleitungen finden Sie unter Convert ADF Global Parameters to Fabric Variable Libraries.

Azure Marketplace Partnerangebote

Vertrauenswürdige Migrationspartner, z. B. Bitwise Global, stellen Tools bereit, die Ihnen bei der Migration helfen. Diese Tools können:

  • Scannen Sie Ihre Azure Data Factory(ADF)-Umgebung.
  • Generieren Sie Ziel-Fabric-Artefakte.
  • Durchführung von Auswirkungsanalysen und Herkunftsverfolgung.
  • Erstellen Sie automatisierte Testpläne.

Diese Lösungen sind besonders hilfreich, wenn Sie folgendes haben:

  • Hunderte von Pipelines.
  • Vielfältige Verbinder.
  • Strenge Ausfallzeitsanforderungen.

Partnertools standardisieren Zuordnungsregeln, generieren Konvertierungsberichte und führen parallele Überprüfungstests aus. Auf diese Weise können Sie Zeilenanzahlen, Prüfsummen und Leistung zwischen Ihren alten und neuen Umgebungen vergleichen. Auch wenn Sie keinen Partner für die gesamte Migration verwenden, können die Ermittlungs- und Bewertungsmodule Ihnen helfen, Ihre interne Planung zu starten und Unsicherheiten zu reduzieren.

Verwenden von KI-Tools

Große Sprachmodelle (LLMs) wie Microsoft Copilot, ChatGPT und Claude können Migrationsaufgaben beschleunigen. Diese Tools sind nützlich für:

  • Refaktorisierung von Ausdrücken.
  • Konvertieren Azure Data Factory JSON (ADF) in Fabric Syntax.
  • Schreiben von MERGE-Anweisungen.
  • Generieren von Verbindungsvorlagen.
  • Entwerfen von Validierungsskripts.

Sie können sie auch verwenden, um Dokumentationen zu erstellen, z. B. Runbooks, Datenwörterbücher und Migrationsprüflisten, um sicherzustellen, dass Techniker und Operatoren aufeinander abgestimmt bleiben. Behalten Sie diese Tools jedoch im Auge, nicht die Kontrolle übernehmen:

  • Vermeiden Sie das Einfügen vertraulicher Informationen in KI-Tools.
  • Überprüfen aller Elemente in einer Entwicklungsumgebung.
  • Verwenden Sie automatisierte Tests wie Zeilenanzahlen, Schemavergleiche und Geschäftsregelprüfungen, um subtile Probleme wie Typkonflikte oder gebietsschemaspezifische Datumsanalyse zu erfassen.

Weitere Informationen finden Sie unter Use Copilot in Data Factory and AI in Microsoft Fabric.

Migrationspfade

Migrationspfade hängen von Ihren ADF-Ressourcen und deren Featureparität ab. Zu den Optionen gehören:

Verwandte Inhalte

Compare Azure Data Factory mit Data Factory in Fabric

  • Last updated on