Transformieren strukturierter Dateien in Delta-Tabellen

Verwenden Sie Verknüpfungstransformationen, um strukturierte Dateien in abfragbare Delta-Tabellen zu konvertieren. Wenn Sich Ihre Quelldaten bereits in einem tabellarischen Format wie CSV, Parkett, JSON oder Excel befinden, kopieren und konvertieren Dateitransformationen diese Daten automatisch in das Delta Lake-Format, sodass Sie sie mithilfe von SQL, Spark oder Power BI abfragen können, ohne ETL-Pipelines zu erstellen.

Informationen zu unstrukturierten Textdateien, die KI-Verarbeitung benötigen, z. B. Zusammenfassungs-, Übersetzungs- oder Stimmungsanalyse, finden Sie unter Shortcut Transformations (AI-powered).

Verknüpfungstransformationen bleiben immer mit den Quelldaten synchronisiert. Fabric Spark compute führt die Transformation durch und kopiert die von einer OneLake-Verknüpfung referenzierten Daten in eine verwaltete Delta-Tabelle. Mit der automatischen Schemabehandlung, tiefgehenden Entflachungskapazitäten und Unterstützung für mehrere Komprimierungsformate reduzieren Abkürzungstransformationen die Komplexität des Erstellens und Verwaltens von ETL-Pipelines.

Gründe für die Verwendung von Kurzweg-Transformationen

• Automatische Konvertierung – Fabric kopiert und konvertiert Quelldateien ohne manuelle Pipeline-Orchestrierung in das Delta-Format.
• Häufige Synchronisierung – Fabric fragt die Verknüpfung alle zwei Minuten einmal ab und synchronisiert Änderungen.
• Rekursive Ordnerermittlung – Fabric durchläuft automatisch Unterordner, um Dateien in der gesamten Verzeichnishierarchie zu erkennen und zu transformieren.
• Delta Lake-Ausgabe – Die resultierende Tabelle ist mit jedem Apache Spark-Modul kompatibel.
• Geerbte Governance – Die Verknüpfung erbt OneLake-Abstammung, Berechtigungen und Microsoft-Purview-Richtlinien.

Voraussetzungen

Unterstützte Dateiformate

Verknüpfungstransformationen funktionieren mit Ordnern aus einer beliebigen Datenquelle, die von OneLake-Verknüpfungen unterstützt wird.

Erstellen einer Tabellenverknüpfung mit Datentransformation

Eine Tabellenverknüpfung erstellt eine Delta-Tabelle im Ordner "Tabellen " eines Seehauses. Verwenden Sie sie zum Transformieren von CSV-, Parkett-, JSON- oder Excel-Dateien.

Bei Excel-Dateien mit mehreren Blättern kombiniert eine Tabellenverknüpfung die ausgewählten Blätter in einer Delta-Tabelle. Wenn Sie eine Delta-Tabelle pro Blatt benötigen, erstellen Sie stattdessen eine Schemaverknüpfung .

1. Klicken Sie in Ihrem Lakehouse mit der rechten Maustaste auf ein Schema unter dem Ordner "Tabellen", und wählen Sie dann "Neue Tabellenverknüpfung erstellen" aus. Wählen Sie Ihre Verknüpfungsquelle aus, z. B. Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint oder OneDrive.

   

2. Wählen Sie den Ordner mit Ihren CSV-, Parkett- oder JSON-Dateien aus, oder wählen Sie den Ordner aus, der Ihre .xlsx Dateien enthält.

3. Konfigurieren Sie im Schritt "Transformieren " die Einstellungen für die Delta-Konvertierung:

   • CSV-Dateien:

     • Trennzeichen – Wählen Sie das Zeichen aus, das zum Trennen von Spalten verwendet wird, z. B. Komma, Semikolon, Pipe, Tabstopp, Und-Zeichen oder Leerzeichen.
     • Erste Zeile als Kopfzeile – Gibt an, ob die erste Zeile Spaltennamen enthält.

   • Excel-Dateien:

     • Erste Zeile als Kopfzeile – Gibt an, ob die erste Zeile Spaltennamen enthält.
     • Einzuschließende Blätter – Wählen Sie alle Blätter oder nur eine Teilmenge von Blättern aus. Sie können Blätter anhand des Namens, nach Index oder mithilfe von Wildcardmustern auswählen (z.B. Sales_* passt zu Blättern wie Sales_Q1 und Sales_2026). Bei einem Wildcardabgleich wird die Groß-/Kleinschreibung nicht beachtet.

4. Überprüfen Sie die Shortcut-Konfiguration. Im Schritt "Vorschauverknüpfungen " können Sie diese Einstellungen auch konfigurieren, bevor Sie "Erstellen" auswählen:

   • Verknüpfungsname – Wählen Sie das Bleistiftsymbol aus, um den Verknüpfungsnamen zu bearbeiten.
   • Unterordner einschließen – Aktivieren der rekursiven Verarbeitung von Dateien in geschachtelten Unterverzeichnissen. Diese Option ist für neue Transformationen standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, wenn Sie nur den Ordner der obersten Ebene verarbeiten möchten.

5. Aktualisierungen nachverfolgen und Protokolle anzeigen im Hub „Verknüpfungsüberwachung verwalten“.

Fabric Spark Compute erstellt die Delta-Tabelle und zeigt den Fortschritt im Verknüpfungsverwaltungsbereich an.

Für Excel-Dateien enthält die resultierende Delta-Tabelle die __filepath__- und __sheetname__-Metadatenspalten, sodass Sie jede Zeile wieder auf die Quelldatei und das Blatt zurückverfolgen können.

Schema-Verknüpfung mit Datentransformation erstellen

Eine Schemaverknüpfung erstellt mehrere Delta-Tabellen, die unter einem neuen Schema im Tabellen-Ordner eines Lakehouses angezeigt werden. Verwenden Sie sie, wenn eine Excel-Arbeitsmappe über mehrere Blätter verfügt und Sie eine Delta-Tabelle pro Blatt benötigen.

Schemaverknüpfungen mit Datentransformation sind derzeit nur für Excel-Dateien (.xlsx) verfügbar. Außerdem ist ein Seehaus mit aktivierten Schemas erforderlich. Weitere Informationen finden Sie unter Lakehouse-Schemas.

1. Klicken Sie in Ihrem Lakehouse mit der rechten Maustaste auf den Ordner Tabellen und wählen Sie dann Neue Schema-Verknüpfung aus.

   

2. Wählen Sie die Datenquelle für diese Verknüpfung aus, und navigieren Sie zu dem Ordner, der Ihre .xlsx Dateien enthält.

3. Konfigurieren Sie im Schritt "Transformieren " die Einstellungen für die Delta-Konvertierung:

   • Erste Zeile als Kopfzeile – Gibt an, ob die erste Zeile Spaltennamen enthält.
   • Einzuschließende Blätter – Wählen Sie alle Blätter oder nur eine Teilmenge von Blättern aus. Sie können Blätter anhand des Namens, nach Index oder mithilfe von Wildcardmustern auswählen.

   

4. Überprüfen Sie die Shortcut-Konfiguration. Im Schritt "Vorschauverknüpfungen " können Sie diese Einstellungen auch konfigurieren, bevor Sie "Erstellen" auswählen:

   • Verknüpfungsname – Wählen Sie das Bleistiftsymbol aus, um den Verknüpfungsnamen zu bearbeiten.
   • Unterordner einschließen – Aktivieren der rekursiven Verarbeitung von Dateien in geschachtelten Unterverzeichnissen. Diese Option ist für neue Transformationen standardmäßig aktiviert. Deaktivieren Sie das Kontrollkästchen, wenn Sie nur den Ordner der obersten Ebene verarbeiten möchten.

5. Aktualisierungen nachverfolgen und Protokolle anzeigen im Hub „Verknüpfungsüberwachung verwalten“.

Fabric Spark-Compute erstellt separate Delta-Tabellen für die ausgewählten Blätter und hält sie mit den Quelldateien synchronisiert. Blattnamen werden automatisch in gültige Tabellennamen saniert. Beispielsweise wird ein Blatt namens Sales Data (Q1) zu Sales_Data_Q1.

Funktionsweise der Synchronisierung

Nach dem anfänglichen Laden berechnet Fabric Spark:

• Fragt das Verknüpfungsziel alle zwei Minuten ab.
• Erkennt neue oder geänderte Dateien und fügt Zeilen entsprechend an oder überschreibt sie.
• Erkennt gelöschte Dateien und entfernt entsprechende Zeilen.

Wenn die Unterstützung des Unterordners aktiviert ist, ermittelt und verarbeitet das System Dateien in allen geschachtelten Unterverzeichnissen innerhalb des Zielordners rekursiv.

Überwachen und Probleme beheben

Abkürzungstransformationen umfassen Überwachung und Fehlerbehandlung, um den Aufnahmestatus nachzuverfolgen und Probleme zu diagnostizieren.

1. Öffnen Sie das Seehaus, und klicken Sie mit der rechten Maustaste auf die Verknüpfung, die Ihre Transformation einfüttert.

2. Wählen Sie "Verknüpfung verwalten" aus.

3. Im Detailbereich können Sie Folgendes anzeigen:

   • Status – Letztes Scanergebnis und aktueller Synchronisierungsstatus.

   • Aktualisierungsverlauf – Chronologische Liste der Synchronisierungsvorgänge mit Zeilenanzahl und allen Fehlerdetails.

   • Unterordner einschließen – Gibt an, ob die Unterordnertransformation aktiviert ist (Ja oder Nein).

     

4. Sehen Sie in den Protokollen weitere Details zur Fehlerbehebung an.

   

Einschränkungen

Die folgenden Einschränkungen gelten derzeit für Verknüpfungstransformationen.

Allgemeine Einschränkungen

• Quellformat: CSV-, JSON-, Parkett- und Excel-Dateien werden unterstützt.
• Dateischemakonsistenz: Dateien müssen ein identisches Schema gemeinsam nutzen.
• Verfügbarkeit des Arbeitsbereichs: Verfügbar nur in Lakehouse-Objekten (nicht in Data Warehouses oder KQL-Datenbanken).
• Schreibvorgänge: Transformationen sind leseoptimiert. Direkte MERGE INTO- und DELETE-Anweisungen auf der Transformationszieltabelle werden nicht unterstützt.
• Verfügbarkeit von Schemaverknüpfungen: Schemaverknüpfungen für Dateitransformationen unterstützen nur Excel-Dateien.

CSV-Einschränkungen

• Nicht unterstützte Datentypen: Gemischte Datentypspalten, Timestamp_Nanos, komplexe logische Typen – MAP/LIST/STRUCT, Raw binary.

Parquet-Beschränkungen

• Nicht unterstützte Datentypen: Timestamp_nanos, Dezimalzahl mit INT32/INT64, INT96, Nicht zugewiesene Ganzzahltypen - UINT_8/UINT_16/UINT_64, Komplexe logische Typen - MAP/LIST/STRUCT.

JSON-Einschränkungen

• Nicht unterstützte Datentypen: Gemischte Datentypen in einem Array, unformatierte binäre Blobs in JSON Timestamp_Nanos.
• Flachung des Arraydatentyps: Der Arraydatentyp wird in der Delta-Tabelle aufbewahrt und kann mit Spark SQL und PySpark zugänglich sein. Verwenden Sie für weitere Transformationen fabric Materialized Lake Views für die Silberschicht.
• Flachungstiefe: Geschachtelte Strukturen werden bis zu fünf Ebenen tief abgeflacht. Für eine tiefere Schachtelung ist eine Vorverarbeitung erforderlich.

Einschränkungen in Excel

• Zellbereich: Daten werden immer ab Zelle A1 gelesen. Arbeitsmappen, in denen Daten in einer anderen Zelle beginnen oder benannte Tabellen oder Bereiche verwenden, können nicht gezielt sein.
• Zeilen überspringen: Titelbanner, Metadatenvorschrift und Fußzeilenzusammenfassungen oberhalb oder unterhalb der tatsächlichen Daten können nicht ausgeschlossen werden. Sie werden als Datenzeilen eingelesen.
• Schema-Ableitung: Die Schemareferenz ist für Excel-Dateien immer aktiviert. Bezeichner mit führenden Nullen (z. B. Postleitzahlen wie 02134 Mitarbeiter-IDs) 001245werden in ganze Zahlen konvertiert, wodurch die führenden Nullen entfernt werden.
• Ausgeblendete Blätter: Alle Blätter, einschließlich ausgeblendeter und Systemblätter, werden verarbeitet, es sei denn, sie werden explizit nach Name oder Index gefiltert.
• Währungsformatierung: Währungsformatierte Zellen (z $1,234.56. B. ) werden in einfache numerische Werte konvertiert. Das Währungssymbol wird entfernt.
• Vertraulichkeitsbezeichnungen: Arbeitsmappen mit Microsoft Purview-Vertraulichkeitsbezeichnungen können nicht verarbeitet werden.
• Beschädigte Zeilen: Der Excel-Reader unterstützt keine beschädigte Datensatzisolation. Beschädigte oder mit Typkonflikten behaftete Zeilen innerhalb eines Blatts können nicht gesondert isoliert und protokolliert werden.
• Blattgrenzwert: Dateien mit mehr als 25 Blättern werden übersprungen.
• Legacy-Format:.xls (Legacy-Binärformat) wird auf best-effort-Basis unterstützt und kann bei komplexen Formatierungen eine reduzierte Genauigkeit aufweisen. .xlsx ist das empfohlene Format.
• Formelauswertung: Spark liest den zwischengespeicherten Wert von Formelzellen vor. Wenn die Arbeitsmappe nicht mit berechneten Werten gespeichert wurde, werden Formelzellen möglicherweise leer oder veraltet angezeigt.

Einschränkungen des Unterordners

• Nur für neue Transformationen verfügbar. Bei vorhandenen Transformationen kann die Unterstützung für Unterordner nicht aktiviert werden.
• Nachdem die Unterordnerunterstützung aktiviert wurde, kann sie nicht mehr deaktiviert werden.
• Verknüpfungen, die im Zielordner geschachtelt sind, werden nicht befolgt. Nur physische Ordner und Dateien werden verarbeitet.
• Selektives Einschließen oder Ausschließen bestimmter Unterordner wird nicht unterstützt.
• Geschachtelte Ordner funktionieren nicht mit SharePoint-Verknüpfungen.

Verwenden Sie den Fabric-Roadmap - und Fabric-Updates-Blog , um mehr über neue Features und Versionen zu erfahren.

Aufräumen

Um die Synchronisierung zu beenden, löschen Sie die Verknüpfungstransformation aus Lakehouse Explorer.

Durch das Löschen der Transformation werden die zugrunde liegenden Dateien nicht entfernt.