Einen Azure Synapse Link für Dataverse mit Azure Data Lake erstellen

Sie können den Azure Synapse Link benutzen, um Ihre Microsoft Dataverse-Daten mit Azure Data Lake Storage Gen2 zu verbinden, um verschiedene Analyseszenarien zu ermöglichen. Dieser Artikel zeigt Ihnen, wie Sie die folgenden Aufgaben ausführen:

  1. Ihre Dataverse-Daten mithilfe des Azure Synapse Link-Dienst mit Ihrem Azure Data Lake Storage Gen2-Konto verbinden.
  2. Dataverse-Tabellen verwalten, die in Azure Synapse Link enthalten sind.
  3. Ihren Azure Synapse Link überwachen.
  4. Trennen Sie Ihre Azure Synapse Link.
  5. Verknüpfen Sie Ihre Azure Synapse Link erneut.
  6. Zeigen Sie Ihre Daten in Azure Data Lake an, und verstehen Sie die Dateistruktur.

Hinweis

Azure Synapse Link für Dataverse war früher als „Nach Data Lake exportieren“ bekannt. Der Dienst wurde mit Wirkung zum Mai 2021 umbenannt und exportiert weiterhin Daten nach Azure Data Lake sowie Azure Synapse Analytics.

Voraussetzungen

  • Azure Data Lake Storage Gen2: Sie müssen über ein Azure Data Lake Storage Gen2 Konto und Owner und Storage Blob Data Contributor Rollenzugriff verfügen. Ihr Speicherkonto muss den Hierarchischen Namespace sowohl für die Ersteinrichtung als auch für die Deltasynchronisierung aktivieren. Speicherkontoschlüsselzugriff zulassen ist nur für die Ersteinrichtung erforderlich. Ihr Speicherkonto muss über den zulässigen Bereich für Kopiervorgänge verfügen, die auf " Von jedem Speicherkonto" festgelegt sind.

Hinweis

  • Das Speicherkonto muss im selben Microsoft Entra-Mandanten wie Ihr Power Apps-Mandant erstellt werden.
  • Um unter Von ausgewählten virtuellen Netzwerken und IP-Adressen aktiviert für das verknüpfte Speicherkonto festzulegen, dass der Zugriff von ausgewählten IP-Adressen aus gewährt wird, müssen Sie einen Azure Synapse Link mit verwalteten Identitäten erstellen.Verwenden Sie verwaltete Identitäten für Azure mit Ihrem Azure Data Lake Storage (ohne eingerichtete verwaltete Identitäten müssen Sie den öffentlichen Netzwerkzugriff für Azure-Ressourcen sowohl für die Ersteinrichtung als auch für die Delta-Synchronisierung aktivieren.)
  • Wir empfehlen dringend, das Feature Vorläufiges Löschen für das für diesen Zweck ausgewählte Speicherkonto zu aktivieren. Wenn Sie das vorläufige Löschen aktivieren, können Sie versehentlich gelöschte Daten schneller wiederherstellen.
  • Sie müssen den Leser-Rollenzugriff auf die Ressourcengruppe mit dem Speicherkonto haben.
  • Um die Umgebung mit Azure Data Lake Storage Gen2 zu verlinken, müssen Sie die Dataverse-Systemadministrator-Sicherheitsrolle haben.
  • Nur Tabellen, die die Änderungsnachverfolgung aktiviert haben, können exportiert werden.
  • In einer einzigen Dataverse-Umgebung können maximal zehn Azure Synapse Link-Profile erstellt werden.

Verbinden von Dataverse mit Azure Data Lake Storage Gen2

  1. Melden Sie sich bei Power Apps an, und wählen Sie Ihre bevorzugte Umgebung aus.

  2. Wählen Sie im linken Navigationsbereich Azure Synapse Link aus. Wenn der Azure Synapse-Link im Seitenbereich nicht sichtbar ist, wählen Sie ... Mehr und wählen Sie "Alle entdecken" aus. Azure Synapse Link befindet sich im Abschnitt Datenverwaltung.

  3. Wählen Sie auf der Befehlsliste + Neue Verknüpfung zum Data Lake aus.

  4. Wählen Sie das Abonnement, die Ressourcengruppe, und das Speicherkonto. Stellen Sie sicher, dass das Speicherkonto die im Abschnitt Voraussetzungen angegebenen Anforderungen erfüllt. Wählen Sie Weiter aus.

    Hinweis

    Im Rahmen der Verknüpfung der Umgebung mit einem Data Lake gewähren Sie dem Azure Synapse Link-Dienst Zugriff auf Ihr Speicherkonto. Stellen Sie sicher, dass Sie die Voraussetzungen zum Erstellen und Konfigurieren des Azure Data Lake Storage-Kontos erfüllt haben und sich selbst eine Besitzerrolle für das Storage-Konto zuweisen. Zusätzlich gewähren Sie dem Power Platform-Dataflows-Service Zugriff auf Ihr Speicherkonto. Weitere Informationen: Selbstbedienungs-Datenaufbereitung mit Datenflüssen.

  5. Wählen Sie die Tabellen aus, die Sie exportieren möchten, indem Sie sie entweder einzeln auswählen oder eine durch Kommas getrennte Liste von Tabellen in das Suchfeld eingeben und dann Speichern auswählen. Nur Tabellen mit der Eigenschaft Änderungen nachverfolgen können exportiert werden. Weitere Informationen: Erweiterte Optionen für Tabellen.

    Tabellen für den Export auswählen

Sie können die oben aufgeführten Schritte in diesem Artikel ausführen, um eine Verknüpfung von einer Umgebung zu mehreren Azure Data Lakes in Ihrem Azure-Abonnement zu erstellen. Auf die gleiche Weise könnten Sie einen Link aus mehreren Umgebung mit dem selben Azure Data Lake erstellen, was im selben Mandant möglich ist.

Hinweis

Der Dienst Azure Synapse Link für Dataverse ist als sofort einsatzbereites Feature nahtlos in die Power Platform integriert. Er erfüllt die Sicherheits- und Governance-Standards für die Power Platform-Datenspeicherung und -Governance. Weitere Informationen: Datenspeicherung und Governance

Die von Azure Synapse Link-Dienst exportierten Daten werden während der Übertragung mithilfe von TLS 1.2 (Transport Layer Security) 1.2 oder höher verschlüsselt und im Ruhezustand in Azure Data Lake Storage Gen2 verschlüsselt. Zusätzlich werden transiente Daten im Blobspeicher auch im Ruhezustand verschlüsselt. Die Verschlüsselung in Azure Data Lake Storage Gen2 hilft Ihnen, Ihre Daten zu schützen, Unternehmenssicherheitsrichtlinien zu implementieren und gesetzliche Complianceanforderungen zu erfüllen. Weitere Informationen finden Sie unter Azure Data Encryption-at-Rest.

Tabellendaten für den Data Lake verwalten

Nachdem Sie Azure Synapse Link eingerichtet haben, können Sie die exportierten Tabellen auf zwei Arten verwalten:

  • Wählen Sie im Power Apps Maker Portal im Bereich Azure Synapse Link in der Befehlsleiste Tabellen verwalten aus, um eine oder mehrere verknüpfte Tabellen hinzuzufügen oder zu entfernen.

  • Wählen Sie im Bereich Tabellen des Power Apps Maker Portals ... neben einer Tabelle und dann den verknüpften Data Lake aus, in den Sie Tabellendaten exportieren möchten.

    Tabelle für den Export auswählen

Nachdem Sie Azure Synapse Link eingerichtet haben, können Sie Azure Synapse Link in der Registerkarte Tabellen überwachen.

Azure Synapse Link-Überwachung

  • Es wird eine Liste von Tabellen angezeigt, die zum ausgewählten Azure Synapse Link gehören.
  • Es gibt verschiedene Stufen, durch die der Synchronisierungsstatus zirkuliert. NotStarted zeigt an, dass die Tabelle darauf wartet, synchronisiert zu werden. Sobald die anfängliche Synchronisierung der Tabelle Abgeschlossen ist, gibt es eine Nachbearbeitungsphase, in der keine inkrementellen Aktualisierungen stattfinden. Dies kann je nach Größe Ihrer Daten einige Stunden dauern. Wenn die inkrementellen Updates beginnen, wird das Datum für die letzte Synchronisierung regelmäßig aktualisiert.
  • Die Spalte Count zeigt die Anzahl der geschriebenen Zeilen an. Wenn Nur anhängen auf Nein festgelegt ist, ist dies die Gesamtzahl der Datensätze. Wenn Nur anhängen auf Ja festgelegt ist, ist dies die Gesamtzahl der Änderungen.
  • Die Nur anhängen- und Partitionsstrategie-Spalten zeigen die Verwendung unterschiedlicher erweiterter Konfigurationen.

  1. Wählen Sie den Azure Synapse-Link aus, um die Verknüpfung aufzuheben.

  2. Wählen Sie Verknüpfung zum Data Lake aufheben aus der Befehlsleiste.

  3. Um das Data Lake-Dateisystem zu löschen, wählen Sie Data Lake-Dateisystem löschen.

  4. Wählen Sie Ja und warten Sie einige Minuten, bis alle Verknüpfungen aufgehoben und gelöscht wurden.

Wenn Sie das Dateisystem beim Aufheben der Verknüpfung gelöscht haben, führen Sie die vorherigen Schritte aus, um denselben Data Lake erneut zu verbinden. Wenn Sie das Dateisystem beim Aufheben der Verknüpfung nicht gelöscht haben, müssen Sie die Daten für die erneute Verknüpfung löschen:

  1. Wechseln Sie zum Azure Data Lake.

  2. Löschen Sie den Dataverse-Container.

  3. Wechseln Sie zu Power Apps und verknüpfen Sie den Data Lake erneut.

Anzeigen Ihrer Daten in Azure Data Lake Storage Gen2

  1. Wählen Sie den gewünschten Azure Synapse Link und dann Zum Azure-Data Lake wechseln im oberen Bereich aus.

  2. Erweitern Sie Dateisysteme, und wählen Sie dann Dataverse-Umgebungsname-OrganisationUniqueName aus.

Die Datei model.json enthält neben ihrem Namen und ihrer Version eine Liste der Tabellen, die in den Data Lake exportiert wurden. Die Datei model.json enthält auch den anfänglichen Synchronisationsstatus und die Zeit der Fertigstellung der Synchronisierung.

Für jede in den Data Lake exportierte Tabelle wird ein Ordner angezeigt, der durch Trennzeichen getrennte Snapshot-Dateien (CSV-Format) enthält. Tabellendaten im Data Lake

  1. Fügen Sie in der Adressleiste eines Webbrowsers an die Webadresse an ?athena.updateLake=true , die mit exporttodatalake endet.

  2. Wählen Sie ein vorhandenes Profil aus dem Azure Synapse Link-Bereich und dann die erweiterte Option aus.

  3. Wählen Sie Mit Azure Synapse Analytics-Arbeitsbereich verknüpfen aus und warten Sie einige Minuten, bis alle Verknüpfungen erstellt wurden.

Kontinuierliche Snapshot-Updates

Microsoft Dataverse Daten können sich kontinuierlich durch das Erstellen, Aktualisieren und Löschen von Transaktionen ändern. Snapshots stellen eine schreibgeschützte Kopie der Daten dar, die in regelmäßigen Abständen, in diesem Fall stündlich, aktualisiert wird. Dies stellt sicher, dass ein Datenanalyse-Konsument zu jedem Zeitpunkt zuverlässig Daten im Lake konsumieren kann.

Fortlaufende Aktualisierungen der Momentaufnahme

Wenn Tabellen beim ersten Export hinzugefügt werden, werden die Tabellendaten in die table.csv-Dateien unter den entsprechenden Ordnern in den Data Lake geschrieben. Dies ist das T1-Intervall, in dem eine schreibgeschützte Momentaufnahme-Datei namens Tabelle-T1.csv erstellt wird – zum Beispiel Account-T1.csv oder Contacts-T1.csv. Darüber hinaus wird die model.json-Datei aktualisiert, um auf diese Momentaufnahme-Dateien zu verweisen. Wenn Sie model.json öffnen, können Sie die Details des Snapshots anzeigen.

Hier ist ein Beispiel für eine in Account.csv partitionierte Datei und einen Snapshot-Ordner im Data Lake.

Momentaufnahme der Kontotabelle

Änderungen in Dataverse werden kontinuierlich mit Hilfe der Trickle-Feed-Engine in die entsprechenden CSV-Dateien übertragen. Dies ist das T2-Intervall, in dem eine weitere Momentaufnahme erstellt wird. Tabelle-T2.csv – zum Beispiel Accounts-T2.csv oder Contacts-T2.csv (vorausgesetzt, es gibt Änderungen für die Tabelle) – und model.json werden auf die neuen Momentaufnahmendateien aktualisiert. Jede neue Person, die die Snapshot-Daten ab T2 ansieht, wird zu den neueren Snapshot-Dateien weitergeleitet. Auf diese Weise kann der ursprüngliche Snapshot-Viewer weiterhin an den älteren Snapshot-T1-Dateien arbeiten, während neuere Viewer die neuesten Aktualisierungen lesen können. Dies ist in Szenarien mit länger laufenden Downstream-Prozessen nützlich.

Hinweis

  • Eine neue Momentaufnahmedatei wird nur erstellt, wenn eine Datenaktualisierung vorhanden ist.
  • Nur die letzten fünf Momentaufnahmedateien werden beibehalten. Stagnierende Daten werden automatisch aus Ihrem Azure Data Lake Storage Gen 2-Konto entfernt.

Hier ist ein Beispiel für die Datei model.json, die immer auf die letzte zeitgestempelte Konto-Snapshot-Datei verweist.

Beispiel für eine Snapshot-model.json-Datei

Was kommt als nächstes?

Nachdem Sie den Azure Synapse Link für dataverse-Dienst erfolgreich verwendet haben, erfahren Sie, wie Sie Ihre Daten mit Discover Hub analysieren und nutzen können. Um auf Discover Hub zuzugreifen, wechseln Sie zu Power Apps>Azure Synapse Link. Wählen Sie Ihren verknüpften Dienst aus, und wählen Sie dann die Registerkarte Hub entdecken aus. Hier finden Sie empfohlene Tools und kuratierte Dokumentationen, mit denen Sie Ihre Daten optimal nutzen können. Discover Hub

Siehe auch

Dataverse-Daten im Data Lake mit Power BI analysieren

Dataverse-Daten im Data Lake mit Azure Data Factory erfassen

Erweiterte Konfiguration für Azure Synapse Link für Dataverse

Azure Synapse Link – FAQ

  • Last updated on