Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Azure Synapse Link bietet mehrere Möglichkeiten zum Schreiben und Lesen Ihrer Daten für verschiedene Analyseszenarien. Abhängig von Ihrem Analyseszenario können Sie aus den folgenden Optionen eine bestimmte Konfiguration auswählen.
| Szenario | Gilt für | Verfügbare Konfigurationsoptionen |
|---|---|---|
| Betriebliche Berichterstellung | Microsoft Dataverse-Tabellen, Finanz- und Operationstabellen und Entitäten. | Synapse Analytics mit Delta Lake-Option bietet bessere Abfragereaktionszeiten, insbesondere bei der Abfrage großer Datenmengen. Weitere Informationen: Synapse Link mit Delta Lake Option |
| Betriebliche Berichterstellung | Nur Dataverse-Tabellen. | Synapse Link mit der Konfigurationsoption "Direkte Aktualisierung" stellt CSV-Dateien in Ihrem Datensee bereit, die nahezu in Echtzeit aktualisiert werden. Dies ist eine veraltete Option für Dataverse-Tabellen. Diese Option wird für Tabellen aus Finanz- und Betriebs-Apps nicht unterstützt. |
| Datenintegration | Dataverse-Tabellen sowie Finanz- und Betriebstabellen und -entitäten. | Die Option Nur anfügen stellt CSV-Dateien bereit, die inkrementelle Daten enthalten. Sie können Pipelines erstellen, die inkrementelle Daten verarbeiten und nachgelagerte Systeme speisen. Das Feature Benutzerdefinierte Datenpartitionierung ermöglicht speziell für Dataverse-Tabellen die Auswahl einer benutzerdefinierten Datenpartitionierungsstrategie. Die Finanz- und Betriebstabellendaten werden vom System basierend auf einer entsprechenden Partitionsstrategie unterteilt. Diese Option ist für Finanz- und Betriebs-Apps nicht verfügbar. |
Hinweis
Azure Synapse Link für Dataverse wurde früher als Export zum Data Lake bezeichnet. Microsoft hat den Dienst im Mai 2021 umbenannt. Der Dienst exportiert weiterhin Daten in Azure Data Lake Storage sowie Azure Synapse Analytics. Ab September 2023 können Sie mit Azure Synapse Link auch Daten aus Dynamics 365 Finanz- und Betriebsanwendungen auswählen. Nicht alle Integrationsmuster werden mit Finanz- und Betriebs-Apps unterstützt. Eine Anleitung zum Übergang von der Funktion "Export zu Data Lake" in Finanz- und Betriebs-Apps zu Synapse Link finden Sie im Leitfaden Transition.
In diesem Artikel werden die für Dataverse Tabellen verfügbaren erweiterten Konfigurationseinstellungen behandelt. Diese Optionen sind für Finanz- und Betriebs-Apps nicht verfügbar.
- In-Place-Updates vs. Nur-anhängen-Schreiben.
- Benutzer-spezifische Datenpartitionierung.
Direkten Updates im Vergleich zu Schreibvorgängen, die nur angehängt werden
Beim Schreiben von Dataverse-Tabellendaten in den Azure Data Lake, basierend auf dem createdOn-Wert, dem Datum und der Uhrzeit der Erstellung des Datensatzes, gibt es zwei verschiedene Einstellungen, aus denen Sie auswählen können. Das sind Direktes Update und Nur anhängen.
Die Standardeinstellung (für Tabellen, in denen createdOn verfügbar ist) ist eine direkte Aktualisierung oder ein Upsert (Aktualisierung oder Einfügung) der inkrementellen Daten im Ziel. Wenn die Änderung neu ist und keine entsprechende Zeile im Lake vorhanden ist, werden im Falle einer Erstellung die Zieldateien gescannt und die Änderungen in die entsprechende Dateipartition im Lake eingefügt. Wenn es sich bei der Änderung um eine Aktualisierung handelt und eine Zeile im Lake vorhanden ist, wird die entsprechende Datei im Lake mit den inkrementellen Daten aktualisiert und nicht eingefügt. Mit anderen Worten: Die Standardeinstellung für alle CUD-Änderungen (Erstellen, Aktualisieren, Löschen) in Dataverse-Tabellen, in denen createdOn verfügbar ist, besteht darin, eine direkte Aktualisierung am Ziel in Azure Data Lake auszuführen.
Sie können das Standardverhalten eines in-place Updates mithilfe einer optionalen Einstellung namens Nur anhängen ändern. Anstatt eines direkten Updates im Modus Nur anhängen werden inkrementelle Daten von Dataverse-Tabellen an die entsprechende Dateipartition im Lake angehängt. Dies ist eine Einstellung pro Tabelle und als Kontrollkästchen unter Erweitert>Erweiterte Konfigurationseinstellungen anzeigen verfügbar. Für Dataverse Tabellen, bei denen Nur anhängen aktiviert ist, werden alle CUD-Änderungen schrittweise an die entsprechenden Zieldateien im Lake angehängt. Wenn Sie diese Option auswählen, ist die Partitionsstrategie standardmäßig auf Jahr festgelegt. Wenn Daten in den Data Lake geschrieben werden, werden sie auf jährlicher Basis partitioniert.
Nur anfügen ist auch die Standardeinstellung für Dataverse-Tabellen, die keinen createdOn-Wert haben.
In dieser Tabelle wird beschrieben, wie Zeilen im Datalake bei CUD-Ereignissen je nach Datenschreiboption behandelt werden.
| Veranstaltung | Aktualisierung vor Ort | Nur hinzufügen |
|---|---|---|
| Erstellen | Die Zeile wird in die Partitionsdatei eingefügt und basiert auf dem createdOn Wert in der Zeile. |
Die Zeile wird am Ende der Partitionsdatei hinzugefügt und basiert auf dem createdOn Wert des Datensatzes. |
| Buchen | Wenn die Zeile in der Partitionsdatei vorhanden ist, wird sie durch aktualisierte Daten ersetzt oder aktualisiert. Wenn sie nicht existiert, wird sie in die Datei eingefügt. | Die Zeile wird zusammen mit der aktualisierten Version am Ende der Partitionsdatei hinzugefügt. |
| Delete | Wenn die Zeile in der Partitionsdatei vorhanden ist, wird sie aus der Datei entfernt. | Die Zeile wird am Ende der Partitionsdatei mit IsDelete column = True hinzugefügt. |
Hinweis
Bei Dataverse-Tabellen, in denen "Anfügen" nur aktiviert ist, wird beim Löschen einer Zeile in der Quelle die Zeile im See nicht gelöscht oder entfernt. Stattdessen wird die gelöschte Zeile als neue Zeile im Lake angehängt und die Spalte isDeleted wird auf Wahr gesetzt.
Der ungültige Lesevorgang (ALLOW_INCONSISTENT_READS) für serverloses Lesen ist für den „Nur anhängen“-Modus aktiviert.
ALLOW_INCONSISTENT_READS bedeutet, dass der Benutzer die Dateien lesen kann, die ständig geändert werden können, während die SELECT-Abfrage ausgeführt wird. Die Ergebnisse sind konsistent und gleichbedeutend mit dem Lesen einer Momentaufnahme der Datei. (Aufgrund der unterschiedlichen Erstellungszeit der Momentaufnahme entspricht dies nicht der Isolierung von Datenbank-Momentaufnahmen.)
Nicht alle CUD-Änderungen werden in Nur anhängen erfasst: Der Synapse Link verarbeitet Datenänderungen in Gruppen oder „Batches“, bevor er sie im Data Lake veröffentlicht. Wenn der Benutzer daher Innerhalb eines kurzen Zeitintervalls Änderungen vor nimmt, werden nicht alle CUD-Änderungen im Datensee erfasst.
Hier sind einige weitere Details darüber, wann Sie eine der Optionen verwenden sollten.
Direkte Aktualisierung (Legacy): Diese Option ist die Standardeinstellung und wird nur empfohlen, wenn Sie eine direkte Verbindung mit den Daten im See herstellen möchten und den aktuellen Zustand benötigen (nicht Verlauf oder inkrementelle Änderungen). Die Datei enthält den vollständigen Datensatz und kann über Power BI oder durch Kopieren des gesamten Datasets für ETL-Pipelines (Extract, Transfer, Load) verwendet werden.
Wichtig
Das direkte Update ist ein Legacymodus und skaliert nicht gut mit hohen Datenvolumes oder bei häufigen Änderungen. Wenn Ihre Tabelle eine große Datenmenge hat oder eine hohe Anzahl von Erstellungs-, Aktualisierungs- oder Löschvorgängen aufweist, verwenden Sie nur Anhängen, um einen zuverlässigen und leistungsstarken Datenexport sicherzustellen.
Nur anhängen: Wählen Sie diese Option, wenn Sie keine direkte Verbindung zu Daten im Lake herstellen und Daten mithilfe von ETL-Pipelines schrittweise auf ein anderes Ziel kopieren möchten. Diese Option bietet einen Änderungsverlauf, um KI- und ML-Szenarien zu aktivieren. Dies ist die empfohlene Option für Tabellen mit großen Datenvolumes oder häufigen Datenänderungen.
Sie können die Show advanced configuration settings under Advanced in Azure Synapse Link for Dataverse umschalten, um Ihre Datenpartitionsstrategie anzupassen und Optionen zum Schreiben in den Azure Data Lake auszuwählen.
Datenpartitionierung
Wenn Sie Dataverse-Tabellendaten mithilfe von Azure Synapse Link in Azure Data Lake Storage schreiben, werden die Tabellen basierend auf dem createdOn Wert jeder Zeile in der Quelle im See partitioniert. Die Standardpartitionsstrategie ist monatlich, sodass Daten monatlich in Azure Data Lake partitioniert werden.
Basierend auf dem Volumen der Tabelle Dataverse und der Datenverteilung können Sie Ihre Daten nach Jahren partitionieren. Wenn Dataverse-Tabellendaten mit dieser Option in den Azure-Datensee geschrieben werden, wird sie jährlich basierend auf dem createdOn Wert jeder Zeile in der Quelle partitioniert. Bei Tabellen ohne die Spalte createdOn werden die Datenzeilen alle 5.000.000 Datensätze in eine neue Datei partitioniert. Dies ist eine Einstellung pro Tabelle und steht als Kontrollkästchen unter Erweitert>Erweiterte Konfigurationseinstellungen anzeigen zur Verfügung.
Hier finden Sie Beispiele dafür, wie Daten mit einer jährlichen oder monatlichen Partitionsstrategie im See behandelt werden können.
