Transformér strukturerede filer til Delta-tabeller

Brug genvejstransformationer til at konvertere strukturerede filer til forespørgelige Delta-tabeller. Hvis dine kildedata allerede er i tabulært format som CSV, Parquet, JSON eller Excel, kopierer og konverterer filtransformationer automatisk disse data til Delta Lake-format, så du kan forespørge dem ved at bruge SQL, Spark eller Power BI uden at bygge ETL-pipelines.

For ustrukturerede tekstfiler, der kræver AI-behandling som opsummering, oversættelse eller sentimentanalyse, se Genvejstransformationer (AI-drevet).

Genvejstransformationer forbliver altid synkroniserede med kildedataene. Fabric Spark compute udfører transformationen og kopierer de data, der refereres til via en OneLake-genvej, ind i en administreret Delta-tabel. Med automatisk skemahåndtering, dyb fladning og understøttelse af flere komprimeringsformater eliminerer genvejstransformationer kompleksiteten ved at bygge og vedligeholde ETL-pipelines.

Hvorfor bruge genvejstransformationer?

• Automatisk konvertering – Fabric kopierer og konverterer kildefiler til Delta-format uden manuel pipeline-orkestrering.
• Hyppig synkronisering – Fabric spørger genvejen hvert andet minut og synkroniserer ændringer.
• Rekursiv mappeopdagelse – Fabric gennemfører automatisk undermapper for at opdage og transformere filer på tværs af hele mappehierarkiet.
• Delta Lake-udgang – Den resulterende tabel er kompatibel med enhver Apache Spark-motor.
• Arvet styring – Genvejen arver OneLake-slægten, tilladelser og Microsoft Purview politikker.

Forudsætninger

Understøttede filformater

Genvejstransformationer fungerer med mapper fra enhver datakilde, der understøttes af OneLake-genveje.

Opret en genvej til tabellen med datatransformation

En tabelgenvej opretter én Delta-tabel i Tables-mappen i et lakehouse. Brug den til at transformere CSV-, Parquet-, JSON- eller Excel-filer.

For Excel-filer med flere ark kombinerer en genvej i tabellen de valgte ark til én Delta-tabel. Hvis du har brug for én Delta-tabel pr. ark, så lav i stedet en skemagenvej .

1. I dit søhus højreklikker du på et skema under mappen Tables , og vælger derefter genvej til Ny tabel. Vælg din genvejskilde, såsom Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint eller OneDrive.

   

2. Vælg mappen med dine CSV-, Parquet- eller JSON-filer, eller vælg den mappe, der indeholder dine .xlsx filer.

3. På Transform-trinnet konfigurerer du indstillingerne for Delta-konverteringen:

   • CSV-filer:

     • Skillelinje – Vælg det tegn, der bruges til at adskille kolonner, såsom komma, semikolon, rør, tabulator, ampersand eller mellemrum.
     • Første række som overskrifter – angiv, om den første række indeholder kolonnenavne.

   • Excel-filer:

     • Første række som overskrifter – angiv, om den første række indeholder kolonnenavne.
     • Ark at inkludere – Vælg alle ark eller kun et delsæt af ark. Du kan vælge ark efter navn, efter indeks eller ved at bruge jokermønstre (for eksempel Sales_* matcher ark som Sales_Q1 og Sales_2026). Wildcard-matching er ikke kasus-følsomt.

4. Gennemgå genvejskonfigurationen. I genvejstrinnene Forhåndsvisning kan du også konfigurere disse indstillinger, før du vælger Opad:

   • Genvejsnavn – Vælg blyantikonet for at redigere genvejsnavnet.
   • Inkluder undermapper – Muliggør rekursiv behandling af filer i indlejrede undermapper. Denne mulighed vælges som standard for nye transformationer. Fjern afkrydsningsfeltet, hvis du kun vil behandle den øverste mappe.

5. Følg opdateringer og se logfiler i Administrer genvejsovervågningshubben.

Fabric Spark compute opretter Delta-tabellen og viser fremskridt i genvejspanelet Administrér .

For Excel-filer indeholder __filepath__ den resulterende Delta-tabel og __sheetname__ metadatakolonner, så du kan spore hver række tilbage til dens kildefil og ark.

Opret en skemagenvej med datatransformation

En skemagenvej opretter flere Delta-tabeller, som vises under et nyt skema i mappen Tables i et søhus. Brug det, når en Excel-arbejdsbog har flere ark, og du vil have én Delta-tabel pr. ark.

Skemagenveje med datatransformation er i øjeblikket kun tilgængelige for Excel (.xlsx) filer. De kræver også et søhus med skemaer aktiveret. For mere information, se Lakehouse-skemaer.

1. I dit søhus højreklikker du på mappen Tables , og vælger derefter genvej Nyt skema.

   

2. Vælg datakilden til denne genvej, og naviger til mappen, der indeholder dine .xlsx filer.

3. På Transform-trinnet konfigurerer du indstillingerne for Delta-konverteringen:

   • Første række som overskrifter – angiv, om den første række indeholder kolonnenavne.
   • Ark at inkludere – Vælg alle ark eller kun et delsæt af ark. Du kan vælge ark efter navn, indeks eller ved at bruge wildcard-mønstre.

   

4. Gennemgå genvejskonfigurationen. I genvejstrinnene Forhåndsvisning kan du også konfigurere disse indstillinger, før du vælger Opad:

   • Genvejsnavn – Vælg blyantikonet for at redigere genvejsnavnet.
   • Inkluder undermapper – Muliggør rekursiv behandling af filer i indlejrede undermapper. Denne mulighed vælges som standard for nye transformationer. Fjern afkrydsningsfeltet, hvis du kun vil behandle den øverste mappe.

5. Følg opdateringer og se logfiler i Administrer genvejsovervågningshubben.

Fabric Spark compute opretter separate Delta-tabeller for de valgte ark og holder dem synkroniserede med kildefilerne. Arknavne bliver automatisk renset til gyldige tabelnavne. For eksempel bliver Sales Data (Q1)et ark med navnet Sales_Data_Q1 .

Sådan fungerer synkronisering

Efter den indledende belastning beregnes Fabric Spark:

• Spørger genvejsmålet hvert andet minut.
• Registrerer nye eller ændrede filer og tilføjer eller overskriver rækker tilsvarende.
• Opdager slettede filer og fjerner tilsvarende rækker.

Når undermappeunderstøttelse aktiveres, opdager og behandler systemet rekursivt filer på tværs af alle indlejrede undermapper i målmappen.

Overvåg og foretag fejlfinding

Genvejstransformationer inkluderer overvågning og fejlhåndtering for at hjælpe dig med at følge indtastningsstatus og diagnosticere problemer.

1. Åbn søhuset og højreklik på genvejen, der giver din transformation.

2. Vælg genvej til at administrere.

3. I detaljepanelet kan du se:

   • Status – Sidste scanningsresultat og nuværende synkroniseringstilstand.

   • Opfrisk historik – Kronologisk liste over synkroniseringsoperationer med rækkeantal og eventuelle fejloplysninger.

   • Inkluder undermapper – Angiver om undermappetransformation er aktiveret (ja eller nej).

     

4. Se flere detaljer i logs for at fejlfinde.

   

Begrænsninger

Følgende begrænsninger gælder i øjeblikket for genvejstransformationer.

Generelle begrænsninger

• Kildeformat: CSV-, JSON-, Parquet- og Excel-filer understøttes.
• Filskema-konsistens: Filer skal dele et identisk skema.
• Arbejdsområdetilgængelighed: Tilgængelig kun i Lakehouse-elementer (ikke Data Warehouses eller KQL-databaser).
• Skriveoperationer: Transformationer er læseoptimerede. Direct MERGE INTO eller DELETE på transformationsmåltabellen understøttes ikke.
• Skemagenvejs-tilgængelighed: Skemagenveje til filtransformationer understøtter kun Excel-filer.

CSV-begrænsninger

• Uunderstøttede datatyper: Blandede datatypekolonner, Timestamp_Nanos, komplekse logiske typer - MAP/LIST/STRUCT, Rå binær.

Parketbegrænsninger

• Uunderstøttede datatyper: Timestamp_nanos, Decimal med INT32/INT64, INT96, Utildelte heltalstyper - UINT_8/UINT_16/UINT_64, Komplekse logiske typer - MAP/LIST/STRUCT.

JSON-begrænsninger

• Uunderstøttede datatyper: Blandede datatyper i et array, rå binære blobs inde i JSON, Timestamp_Nanos.
• Fladede array-datatypen: Array-datatypen bevares i Delta-tabellen og er tilgængelig med Spark SQL og PySpark. For yderligere transformationer kan du bruge Fabric Materialized Lake Views som sølvlag.
• Udfladning af dybde: Indlejrede strukturer er fladtrykte op til fem niveauer dybt. Dybere indlejring kræver forbehandling.

Excel-begrænsninger

• Celleområde: Data læses altid startende fra celle A1. Arbejdsbøger, hvor data starter i en anden celle eller bruger navngivne tabeller eller intervaller, kan ikke målrettes.
• Spring rækker over: Titelbannere, metadata-præambler og footer-overdrag over eller under de faktiske data kan ikke udelukkes. De indskrives som datarækker.
• Skema-inferens: Skema-inferens er altid aktiveret for Excel-filer. Identifikatorer med indledende nuller (for eksempel postnumre som 02134 eller medarbejder-ID'er som 001245) konverteres til heltal, hvilket fjerner de indledende nuller.
• Skjulte ark: Alle ark, inklusive skjulte og systemark, bliver behandlet, medmindre det eksplicit er filtreret efter navn eller indeks.
• Valutaformatering: Valutaformaterede celler (for eksempel $1,234.56) konverteres til almindelige numeriske værdier. Valutasymbolet er fjernet.
• Følsomhedsetiketter: Arbejdsbøger med Microsoft Purview følsomhedsetiketter kan ikke behandles.
• Korrupte rækker: Excel-læseren understøtter ikke korrupt arkivisolering. Korrupte eller type-mismatchede rækker i et ark kan ikke isoleres og logges separat.
• Pladegrænse: Filer med mere end 25 ark springes over.
• Legacy-format:.xls (Legacy binærformat) understøttes på best-effort basis og kan have reduceret nøjagtigheden for kompleks formatering. .xlsx er det anbefalede format.
• Formelvurdering: Spark læser den cachede værdi af formelceller. Hvis arbejdsbogen ikke blev gemt med beregnede værdier, kan formelcellerne virke tomme eller forældede.

Begrænsninger i undermappen

• Kun tilgængelig for nye transformationer. Eksisterende transformationer kan ikke aktivere undermappe-understøttelse.
• Når undermappeunderstøttelse er aktiveret, kan den ikke deaktiveres.
• Genveje, der er indlejret i målmappen, følges ikke. Kun fysiske mapper og filer behandles.
• Selektiv inkluder eller eksklusiv af specifikke undermapper understøttes ikke.
• Indlejrede mapper virker ikke med SharePoint-genveje.

Brug Fabric Roadmap og Fabric Updates Blog for at lære om nye funktioner og udgivelser.

Ryd op

For at stoppe synkroniseringen, slet genvejstransformationen fra Lakehouse Explorer.

At slette transformationen fjerner ikke de underliggende filer.