Migrieren von Dataflow Gen1 zu Dataflow Gen2: Migrationsszenarien

In diesem Artikel werden verschiedene Migrationsszenarien erläutert, die Sie berücksichtigen können, wenn von Dataflow Gen1 zu Dataflow Gen2migrieren. Außerdem erhalten Sie einen Leitfaden und Ausführungsempfehlungen. Diese Szenarien könnten Sie dazu inspirieren, den richtigen Migrationsansatz basierend auf Ihren geschäftlichen Anforderungen und Umständen zu ermitteln.

Wenn Sie Ihre Datenflüsse migrieren, ist es wichtig, über das einfache Kopieren vorhandener Lösungen hinaus zu denken. Stattdessen empfehlen wir, Ihre Lösungen zu modernisieren, indem wir die neuesten Innovationen und Funktionen von Dataflow Gen2 nutzen. Mit diesem Ansatz wird sichergestellt, dass Ihre Lösungen die wachsenden Anforderungen des Unternehmens unterstützen können.

Beispielsweise verfügt Dataflow Gen2 über ein Feature namens schnelles Kopieren, mit dem die Zeit für die Datenerfassung für bestimmte Transformationen und Connectors erheblich reduziert wird. Dataflow Gen2 hat auch die inkrementelle Aktualisierungverbessert, wodurch Datenaktualisierungsprozesse optimiert werden, indem nur geänderte Daten aktualisiert werden. Diese Fortschritte verbessern nicht nur die Leistung und Effizienz, sondern sorgen auch dafür, dass Ihre Lösungen skaliert werden.

Anmerkung

Die Migrationsszenarien sind repräsentativ für echte Kundenmigrationen, aber einzelne Kundenszenarien unterscheiden sich natürlich.

In diesem Artikel werden keine Preisinformationen behandelt. Preisinformationen finden Sie unter Fabric – Preise.

Wichtig

Der CPU-Verbrauch durch Dataflow Gen1 und Dataflow Gen2 kann aus vielen Gründen variieren, z. B. die Verwendung neuer Features in Dataflow Gen2, einschließlich Lakehouse Staging und Warehouse Compute. Es wird empfohlen, eine eingehende Analyse durchzuführen, z. B. als Proof of Concept (POC), um die vergleichende CPU-Auslastung bei Dataflow Gen1 und Dataflow Gen2 zu quantifizieren, bevor Sie Ihre Dataflows migrieren.

Migrationsszenarien

Dataflows bieten eine vielseitige Plattform für die Erstellung skalierbarer ETL-Lösungen (Extract, Transform und Load) und ELT-Lösungen (Extract, Load und Transform), die eine Reihe von Nutzungsszenarios von persönlicher BI bis hin zu Enterprise-BI abdecken.

Hier sind drei mögliche Migrationsszenarien, die diesen Artikel inspiriert haben:

  • Persönliche oder Teamnutzung: Kleine Teams oder Einzelpersonen verwenden Dataflows, um Datenaufnahme- und Vorbereitungsaufgaben zu automatisieren, sodass sie sich auf Datenanalyse und Erkenntnisse konzentrieren können. Beispielsweise könnte ein Team Datenflüsse verwenden, um Daten aus verschiedenen Quellen wie Microsoft Excel oder Microsoft SharePoint zu extrahieren. Ihre Datenflüsse transformieren Quelldaten entsprechend ihren spezifischen Anforderungen und laden sie zu Berichtszwecken in ein semantisches Modell.
  • Abteilungsverwendung: Abteilungen innerhalb einer Organisation verwenden Datenflüsse, um größere Datenquellen und komplexe Transformationen zu verwalten. Sie können komponierbare Datenflüsse erstellen, die die Wiederverwendbarkeit und Konsistenz in Abteilungsberichten fördern. So wird sichergestellt, dass alle Teammitglieder mit denselben Daten arbeiten.
  • Enterprise-Nutzung: Auf Unternehmensebene sind Dataflows entscheidend, um große Datenmengen über mehrere Abteilungen hinweg im großen Stil zu erfassen. Sie dienen als zentrale Datenvorbereitungsebene, die sich in viele semantische Modelle einspeist und ein breites Spektrum an Business Intelligence- und Analyseanwendungen untermauert. Die gesamte Organisation profitiert von zuverlässigen, aktuellen Daten, was eine fundierte Entscheidungsfindung auf allen Ebenen ermöglicht.

In jedem dieser Szenarien helfen Datenflüsse beim Erstellen robuster und skalierbarer ETL/ELT-Lösungen, die mit den Anforderungen des Teams, der Abteilung oder organisation wachsen können. Gut gestaltete Datenflüsse sorgen dafür, dass Datenverwaltungsprozesse effizient und effektiv bleiben.

Weitere Informationen zu Verwendungsszenarien finden Sie unter Microsoft Fabric-Implementierungsplanung.

Migrationsszenario 1

In diesem Migrationsszenario verwendet die Organisation Power BI-Dataflows für die Self-Service-Datenaufbereitung, um persönliche oder Teamnutzungsszenarios zu unterstützen. Die Datenflüsse sind in einem einzigen Arbeitsbereich enthalten, der einer Fabric-Kapazität zugewiesen ist.

Die Ersteller von Dataflows möchten die erweiterten Funktionen von Dataflow Gen2 für Erstellungszwecke nutzen. Gleichzeitig planen sie die vorübergehende Verwendung von Datenflusstabellen als Datenquelle während einer phasenweisen Migration. Dieser Ansatz stellt eine einfache Verwendung und Konnektivität für Inhaltsersteller sicher, die mit vorhandenen Power BI-Semantikmodellen, Excel-Tabellen oder Dataverse-Tabellen arbeiten – zumindest bis der Übergang zu unterstützten Datenquellen abgeschlossen ist.

Zur Migration ihrer Lösungen gehen die Dataflow-Ersteller wie folgt vor:

  1. Aktualisieren Sie die Arbeitsbereichs-ID, wenn ein neuer Arbeitsbereich erstellt wird, um den neuen Datenfluss zu speichern.
  2. Aktualisieren Sie vorhandene Lösungen von der ursprünglichen Datenfluss-ID (Gen1) auf die neue Datenfluss-ID (Gen2).

Die folgende Beispielabfrage wurde aktualisiert, um Daten für eine Datumsdimensionstabelle abzurufen.

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

Tipp

Wenn Sie die Werte workspaceId und dataflowId in den semantischen Modellen parametrisieren, können Sie die REST-API-Operation Datasets – Update Parameter in Group verwenden, um die Mashup-Parameterdetails programmgesteuert zu aktualisieren.

Wichtig

Obwohl es möglich ist, Daten mithilfe des Datenflussconnectors abzurufen, wird dieser Ansatz bei Verwendung von Dataflow Gen2 nicht empfohlen. Stattdessen empfehlen wir, die Datenzielfunktionalität zu verwenden, um, wenn möglich, alle erstellten Tabellen von Dataflow Gen2 an Fabric-Elemente oder andere Ziele auszugeben. Der Grund dafür ist, dass der Dataflow-Connector eine zugrunde liegende Speicherebene für die Systemimplementierung verwendet (DataflowsStagingLakehousegenannt), und er kann sich ändern, wenn neue Funktionen oder Features hinzugefügt werden.

Migrationsszenario 2

In diesem Migrationsszenario verwendet die Organisation Power BI-Datenflüsse für die Self-Service-Datenvorbereitung, um Abteilungsnutzungsszenarien mit zusammensetzbaren Datenflüssen und verknüpften Tabellen über mehrere Arbeitsbereiche hinweg zu unterstützen.

Die Dataflow-Ersteller möchten die erweiterten Funktionen von Dataflow Gen2 für die Erstellung nutzen und gleichzeitig die Dataflowtabellen effizient für ein Fabric Lakehouse freigeben und ausgeben. Diese Methode nutzt OneLake-Verknüpfungen. OneLake-Verknüpfungen vereinfachen die Lösungsverwaltung, indem sie die Prozesslatenz, die traditionell mit verknüpften Tabellen in Arbeitsbereichen verbunden ist, reduzieren und redundante Datenkopien eliminieren.

Zur Migration ihrer Lösungen gehen die Dataflow-Ersteller wie folgt vor:

  1. Ersetzen Sie verknüpfte Tabellen durch OneLake-Verknüpfungen, die nachgeschalteten Consumern direkten Zugriff auf die Daten bieten.
  2. Aktualisieren Sie vorhandene Lösungen und Übergangsabfragen, indem Sie die funktionen PowerPlatform.Dataflows oder PowerBI.Dataflows durch die Lakehouse.Contents Datenzugriffsfunktion in Fabric ersetzen.

Die folgende PowerQuery-Beispielabfrage wurde aktualisiert, um Daten aus einer Kundendimensionstabelle abzurufen.

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

Anmerkung

Sie können Abfrageausdrücke in einem in Fabric veröffentlichten Power BI-Semantikmodell programmgesteuert bearbeiten, indem Sie den XMLA-Endpunkt verwenden und den partitionierten M-Ausdruck einer Tabelle aktualisieren.

Beachten Sie jedoch, dass Sie, nachdem Sie das Semantikmodell mithilfe des XMLA-Endpunkts geändert haben, es nie wieder aus dem Power BI-Dienst herunterladen können.

Migrationsszenario 3

In diesem Migrationsszenario verwendet die Organisation Power BI-Dataflows für die Self-Service-Datenaufbereitung, um Abteilungsnutzungsszenarios mit zusammensetzbaren Dataflows in mehreren Arbeitsbereichen zu unterstützen.

Die Dataflow-Ersteller möchten die erweiterten Funktionen von Dataflow Gen2 für die Erstellung nutzen. Sie möchten auch Datenflow-Tabellen aus einem Fabric Warehouse ausgeben und freigeben, das detaillierte Benutzerberechtigungen besitzt. Dieser Ansatz bietet Flexibilität, und der Datenzugriff kann mit Sicherheit auf Zeilenebene (RLS), Sicherheit auf Spaltenebene (CLS)und dynamische Datenmaskierung (DDM)implementiert werden.

Zur Migration ihrer Lösungen gehen die Dataflow-Ersteller wie folgt vor:

  1. Sie gewähren Datenzugriff über die granularen Berechtigungen der SQL-Compute-Engine, die einen selektiveren Zugriff auf bestimmte Benutzer ermöglichen, indem sie den Zugriff auf bestimmte Tabellen und Schemas einschränken sowie RLS und CLS implementieren.
  2. Sie aktualisieren vorhandene Lösungen und Übergangsabfragen, indem Sie die Funktion PowerPlatform.Dataflows oder PowerBI.Dataflows durch die Datenzugriffsfunktion Fabric.Warehouse in Fabric ersetzen.

Die folgende PowerQuery-Beispielabfrage wurde aktualisiert, um Daten aus einer Kundendimensionstabelle abzurufen.

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

Migrationsleitfaden

Es wird empfohlen, einen Bestand Ihrer Datenflüsse und abhängigen Elemente zu kompilieren. Außerdem wird empfohlen, Power Query-Vorlagen zu verwenden.

Inventar

Um Ihre Migration zu planen, besteht der erste Schritt darin, eine Bestandsaufnahme Ihrer Datenflüsse zu machen und aller Lösungen, die von ihnen abhängen. Die Identifizierung abhängiger Elemente kann dazu beitragen, Ausfallzeiten und Unterbrechungen zu vermeiden.

  • Dataflows als Quelle in Power BI
    • Verwenden Sie die Dataflows - Get Upstream Dataflows In Group REST API Operation, um die Linien und Abhängigkeiten zwischen einem Datenfluss zu identifizieren, der verknüpfte Tabellen verwendet. Insbesondere können verknüpfte Tabellen eine Tiefe von bis zu 32 Verweisen aufweisen.
      • Alternativ können Sie die funktion Semantic Link Labslist_upstream_dataflows verwenden, um den Prozess des rekursiven Aufrufens des Get Upstream Dataflows In Group REST-API-Vorgangs zu vereinfachen. Die Funktion durchläuft alle verknüpften Datenflüsse, bis ein Datensatz mit einem leeren Wert auftritt, der das Ende der Kette angibt.
    • Verwenden Sie die REST-API-Operation Admin – Datasets GetDatasetToDataflowsLinksInGroupAsAdmin, um ein Inventar von Power BI-Semantikmodellen zu erstellen, die innerhalb eines Arbeitsbereichs Dataflows nutzen und Aktualisierungen erfordern.
    • Verwenden Sie die Microsoft Fabric-Scanner-APIs, um die Mashup-Abfrageausdrücke aus semantischen Modellen im Mandanten abzurufen. Anschließend können Sie die Ausdrücke nach allen Dataflow-IDs durchsuchen, um die gesamte Herkunft im Mandanten zu verstehen.
  • Dataflows als Quelle in Power Apps
    • Greifen Sie auf Mashup-Abfrageausdrücke aus der Dataflow-Tabelle in der App-Lösung Power Platform Dataflows zu. Anschließend können Sie die Ausdrücke nach allen Dataflow-IDs durchsuchen, um die gesamte Herkunft in Anwendungen innerhalb des Mandanten zu verstehen. Informationen zum Installieren und Verwalten von Apps in Dynamics 365, die auf Microsoft Dataverse ausgeführt werden, finden Sie unter Verwalten von Power Apps.
  • Datenflüsse als Quelle in Excel
    • Während Excel-Arbeitsmappen keine REST-API zum Nachverfolgen von Linien und Abhängigkeiten haben, können Sie Visual Basic for Applications (VBA) und das WorkbookConnection-Objekt verwenden, um zu bestimmen, ob die Verbindungszeichenfolge den Text Provider=Microsoft.Mashup.OleDb.1enthält, der eine Power Query-Verbindung angibt. Darüber hinaus können Sie die WorkbookQuery.Formula-Eigenschaft verwenden, um Power Query-Formeln zu extrahieren.
    • Nachdem Sie den Ursprung Ihrer Datenflüsse nachverfolgt haben, empfehlen wir, die bestehenden Datenflussverbindungen in Excel für Fabric-Elemente wie folgt zu aktualisieren:
      • Für den Zugriff auf den SQL-Analyseendpunkt einer Fabric Lakehouse-, Warehouse- oder SQL-Datenbank verwenden Sie den SQL Server-Connector, der die Datenzugriffsfunktion Sql.Database verwendet.
      • Um auf Fabric Lakehouse-Dateiinhalte zuzugreifen, verwenden Sie den Azure Data Lake Gen2 Storage-Connector, der die AzureStorage.DataLake Datenzugriffsfunktion verwendet.
      • Für den Zugriff auf eine Fabric Eventhouse-Datenbank verwenden Sie den Azure Data Explorer-Connector, der die Datenzugriffsfunktion AzureDataExplorer.Contents verwendet.

Power Query-Vorlagen

Power Query-Vorlagen vereinfachen den Vorgang, ein Projekt zwischen verschiedenen Power Query-Integrationen zu übertragen. Sie helfen dabei, das zu optimieren, was andernfalls eine komplexe und zeitaufwendige Aufgabe sein könnte. Vorlagen kapseln das gesamte Power Query-Projekt, einschließlich Skripts und Metadaten, in eine einzelne, portable Datei.

Power Query-Vorlagen wurden so konzipiert, dass sie mit verschiedenen Integrationen wie Power BI-Datenflüssen (Gen1) und Fabric-Datenflüssen (Gen2) kompatibel sind und einen reibungslosen Übergang zwischen diesen Diensten gewährleisten.

Verwandte Inhalte

Weitere Informationen zu diesem Artikel finden Sie in den folgenden Ressourcen:

Fabric-Partner stehen zur Verfügung, um Ihrer Organisation beim erfolgreichen Abschluss des Migrationsprozesses zu helfen. Für die Zusammenarbeit mit einem Fabric-Partner besuchen Sie das Fabric-Partnerportal.

  • Last updated on