Transformieren strukturierter Dateien in Delta-Tabellen (Vorschau)

Verwenden Sie Verknüpfungstransformationen, um strukturierte Dateien in abfragbare Delta-Tabellen zu konvertieren. Wenn sich Ihre Quelldaten bereits in einem tabellarischen Format wie CSV, Parkett oder JSON befinden, kopieren und konvertieren Dateitransformationen diese Daten automatisch in das Delta Lake-Format, sodass Sie sie mithilfe von SQL, Spark oder Power BI abfragen können, ohne ETL-pipelines zu erstellen.

Informationen zu unstrukturierten Textdateien, die KI-Verarbeitung benötigen, z. B. Zusammenfassungs-, Übersetzungs- oder Stimmungsanalyse, finden Sie unter Shortcut Transformations (AI-powered).

Verknüpfungstransformationen bleiben immer mit den Quelldaten synchronisiert. Fabric Spark compute führt die Transformation durch und kopiert die von einer OneLake-Verknüpfung referenzierten Daten in eine verwaltete Delta-Tabelle. Mit der automatischen Schemabehandlung, tiefgehenden Entflachungskapazitäten und Unterstützung für mehrere Komprimierungsformate reduzieren Abkürzungstransformationen die Komplexität des Erstellens und Verwaltens von ETL-Pipelines.

Gründe für die Verwendung von Kurzweg-Transformationen

• Automatische Konvertierung – Fabric kopiert und konvertiert Quelldateien ohne manuelle Pipeline-Orchestrierung in das Delta-Format.
• Häufige Synchronisierung – Fabric fragt die Verknüpfung alle zwei Minuten einmal ab und synchronisiert Änderungen.
• Rekursive Ordnerermittlung – Fabric durchläuft automatisch Unterordner, um Dateien in der gesamten Verzeichnishierarchie zu erkennen und zu transformieren.
• Delta Lake-Ausgabe – Die resultierende Tabelle ist mit jedem Apache Spark-Modul kompatibel.
• Geerbte Governance – Die Verknüpfung erbt OneLake-Abstammung, Berechtigungen und Microsoft-Purview-Richtlinien.

Voraussetzungen

Unterstützte Quellen, Formate und Ziele

Alle in OneLake unterstützten Datenquellen werden unterstützt.

Erstellen Sie eine Verknüpfung zur Datenumwandlung

1. Klicken Sie in Ihrem Lakehouse mit der rechten Maustaste auf eine Tabelle im Abschnitt Tabellen und wählen Sie dann Neue Tabellenverknüpfung aus. Wählen Sie Ihre Verknüpfungsquelle aus (z. B. Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint, OneDrive und mehr).

   

2. Wählen Sie den Ordner mit Ihren CSV-, Parkett- oder JSON-Dateien aus.

3. Konfigurieren Sie im Transformationsschritt Einstellungen für die Delta-Konvertierung:

   • Trennzeichen in CSV-Dateien – Wählen Sie das Zeichen aus, das zum Trennen von Spalten verwendet wird (Komma, Semikolon, senkrechter Strich, Tabulator, kaufmännisches Und-Zeichen, Leerzeichen).
   • Erste Zeile als Kopfzeile – Gibt an, ob die erste Zeile Spaltennamen enthält.

4. Überprüfen Sie die Shortcut-Konfiguration. Im Überprüfungsschritt können Sie auch die folgende Einstellung konfigurieren, bevor Sie "Erstellen" auswählen:

   • Unterordner einschließen – Aktivieren der rekursiven Verarbeitung von Dateien in geschachtelten Unterverzeichnissen. Diese Option ist für neue Transformationen standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, wenn Sie nur den Ordner der obersten Ebene verarbeiten möchten.

5. Nachverfolgen von Aktualisierungen und Anzeigen von Protokollen zur Transparenz im Hub "Verknüpfungsüberwachung verwalten".

Fabric Spark compute kopiert die Daten in eine Delta-Tabelle und zeigt den Fortschritt im Manage shortcut-Bereich an.

Funktionsweise der Synchronisierung

Nach dem anfänglichen Laden berechnet Fabric Spark:

• Fragt das Verknüpfungsziel alle zwei Minuten ab.
• Erkennt neue oder geänderte Dateien und fügt Zeilen entsprechend an oder überschreibt sie.
• Erkennt gelöschte Dateien und entfernt entsprechende Zeilen.

Wenn die Unterstützung des Unterordners aktiviert ist, ermittelt und verarbeitet das System Dateien in allen geschachtelten Unterverzeichnissen innerhalb des Zielordners rekursiv.

Überwachen und Probleme beheben

Abkürzungstransformationen umfassen Überwachung und Fehlerbehandlung, um den Aufnahmestatus nachzuverfolgen und Probleme zu diagnostizieren.

1. Öffnen Sie das Seehaus, und klicken Sie mit der rechten Maustaste auf die Verknüpfung, die Ihre Transformation einfüttert.

2. Wählen Sie "Verknüpfung verwalten" aus.

3. Im Detailbereich können Sie Folgendes anzeigen:

   • Status – Letztes Scanergebnis und aktueller Synchronisierungsstatus.

   • Aktualisierungsverlauf – Chronologische Liste der Synchronisierungsvorgänge mit Zeilenanzahl und allen Fehlerdetails.

   • Unterordner einschließen – Gibt an, ob die Unterordnertransformation aktiviert ist (Ja oder Nein).

     

4. Sehen Sie in den Protokollen weitere Details zur Fehlerbehebung an.

   

Einschränkungen

Die folgenden Einschränkungen gelten derzeit für Verknüpfungstransformationen:

• Quellformat: Es werden nur CSV-, JSON- und Parkettdateien unterstützt.
  • Nicht unterstützte Datentypen für CSV: Gemischte Datentypspalten, Timestamp_Nanos, komplexe logische Typen - MAP/LIST/STRUCT, Raw-Binärdatei
  • Nicht unterstützte Datentypen für Parquet: Timestamp_nanos, Dezimalzahl mit INT32/INT64, INT96, Nicht zugewiesene ganzzahlige Typen - UINT_8/UINT_16/UINT_64, Komplexe logische Typen - MAP/LIST/STRUCT
  • Nicht unterstützte Datentypen für JSON: Gemischte Datentypen in einem Array, unformatierte binäre Blobs innerhalb von JSON, Timestamp_Nanos
• Dateischemakonsistenz: Dateien müssen ein identisches Schema gemeinsam nutzen.
• Verfügbarkeit des Arbeitsbereichs: Verfügbar nur in Lakehouse-Objekten (nicht in Data Warehouses oder KQL-Datenbanken).
• Schreibvorgänge: Transformationen sind leseoptimiert. Direkte MERGE INTO- und DELETE-Anweisungen auf der Transformationszieltabelle werden nicht unterstützt.
• Flachung des Arraydatentyps in JSON: Der Arraydatentyp wird in der Delta-Tabelle aufbewahrt und kann mit Spark SQL und PySpark zugänglich sein. Verwenden Sie für weitere Transformationen fabric Materialized Lake Views für die Silberschicht.
• Abflachungstiefe in JSON: Geschachtelte Strukturen werden bis zu fünf Ebenen tief abgeflacht. Für eine tiefere Schachtelung ist eine Vorverarbeitung erforderlich.
• Unterstützung geschachtelter Ordner: Die folgenden Einschränkungen gelten für die Verarbeitung von Unterordnern:
  • Nur für neue Transformationen verfügbar. Bei vorhandenen Transformationen kann die Unterstützung für Unterordner nicht aktiviert werden.
  • Nachdem die Unterordnerunterstützung aktiviert wurde, kann sie nicht mehr deaktiviert werden.
  • Verknüpfungen, die im Zielordner geschachtelt sind, werden nicht befolgt. Nur physische Ordner und Dateien werden verarbeitet.
  • Selektives Einschließen oder Ausschließen bestimmter Unterordner wird nicht unterstützt.
  • Geschachtelte Ordner funktionieren nicht mit SharePoint-Verknüpfungen.

Verwenden Sie den Fabric-Roadmap - und Fabric-Updates-Blog , um mehr über neue Features und Versionen zu erfahren.

Aufräumen

Um die Synchronisierung zu beenden, löschen Sie die Verknüpfungstransformation aus Lakehouse Explorer.

Durch das Löschen der Transformation werden die zugrunde liegenden Dateien nicht entfernt.