Lakeflow Spark Deklarativa pipelines versionsanteckningar 2026

Följande funktioner, förbättringar och felkorrigeringar i Lakeflow Spark Deklarativa Pipelines släpptes 2026.

Mars 2026

Dessa funktioner och förbättringar av Lakeflow Spark Deklarativa pipelines släpptes mellan 26 februari 2026 och 31 mars 2026.

Databricks Runtime-versioner som används av den här versionen

Följande versioner var aktuella från och med den 31 mars 2026.

Kanal:

• CURRENT (standard): Databricks Runtime 17.3.8
• FÖRHANDSVERSION: Databricks Runtime 18.1.0

Nya funktioner och förbättringar

• Serverlösa pipelines stöder nu CPU-baserad lodrät autoskalning. Funktionen justerar klusterresurser dynamiskt baserat på den faktiska CPU-användningen för att förbättra arbetsbelastningens stabilitet.
• Nu kan du behålla Unity Catalog-tabeller när du tar bort en pipeline och bevara dina datatillgångar även efter att pipelinen har tagits bort. Detta ger dig större flexibilitet när det gäller att hantera pipelinelivscykler utan att riskera dataförlust.
• Nu kan du skapa strömmande tabeller med hjälp av den nya flödessyntaxen, som ger ett mer direkt och deklarativt sätt att definiera strömmande datapipelines. Detta förenklar redigeringen av pipelinen och överensstämmer med aktuella datateknikmönster.
• Pipelinekrokar är nu tillgängliga för jobbutlösta pipelines. Använd dem för att köra anpassad logik före och efter pipelineuppdateringar i Lakeflow-jobb. Pipeline hooks utökar automatiseringsfunktionerna för orkestrerad databehandling.
• Pipelines bevarar nu radfilter- och kolumnmaskkonfigurationer under tabelluppdateringar, så att enhetskatalogens säkerhetsprinciper förblir intakta i pipelineuppdateringar. Detta förhindrar oavsiktlig borttagning av säkerhetsprinciper under schemautvecklingen.
• CDC-anpassningar har nu stöd för ombaseringsläge för datetime. Funktionen hanterar tidsstämpelkonverteringar korrekt mellan äldre och moderna kalendersystem. Detta förhindrar inkonsekvenser i data när historiska datetime-data bearbetas via flöden för datainsamling av ändringar.
• Nu kan du använda SQL-instruktioner inom foreachBatch operationer i strömningspipelines, vilket möjliggör en mer flexibel logik för mikrobatchbearbetning. Detta tar bort tidigare begränsningar som krävde Python eller Scala för anpassad batchhantering.
• Pipelines stöder nu vidarekopplingsreferenser i mottagarregistrering. Du kan definiera dataflöden som refererar till underordnade tabeller innan de deklareras. Detta förenklar komplexa pipelinedefinitioner och tar bort ordningsbegränsningar.
• Lägg-till-endast-en-gång-flöden verifieras nu under testkörningar, som upptäcker konfigurationsfel innan pipelinekörningen börjar. Detta förbättrar utvecklingsupplevelsen genom att lösa problem tidigare i arbetsflödet för pipelineredigering.

Felkorrigeringar

Inga betydande felkorrigeringar ingick i den här lanseringsperioden. Alla ändringar var nya funktioner och förbättringar.

Februari 2026

Dessa funktioner och förbättringar av Lakeflow Spark's Deklarativa Pipelines släpptes mellan 14 januari 2026 och 25 februari 2026.

Databricks Runtime-versioner som används av den här versionen

Följande versioner var aktuella från och med den 25 februari 2026.

Kanal:

• CURRENT (standard): Databricks Runtime 17.3
• FÖRHANDSVERSION: Databricks Runtime 17.3

Nya funktioner och förbättringar

• Pipelines stöder nu typbreddning för Delta-tabeller, vilket gör att kolumndatatyper kan utökas på ett säkert sätt (till exempel INT till LONG, FLOAT till DOUBLE) utan att kräva en fullständig pipelineåterställning. Detta möjliggör schemautvecklingsarbetsflöden som tidigare krävde manuella åtgärder.
• Nu kan du använda SCD Typ 1-materialisering med AUTO CDC, vilket ger ett enklare CDC-mönster som ökar det senaste värdet utan att upprätthålla fullständig ändringshistorik. Detta minskar lagringskostnaderna för användningsfall som inte kräver fullständig historik.
• Pipelines återanvänder nu befintliga kluster vid nytt försök med misslyckade uppdateringar, vilket minskar svarstiden för återförsök och sänker beräkningskostnaderna genom att eliminera redundant starttid för kluster.
• Förutsägande optimeringsmöjliggörande visas nu korrekt på materialiserade vyer och strömningstabeller, om de har uppdaterats under den senaste månaden.
• Pipelines validerar nu flera flöden tillsammans, vilket fångar konfigurationskonflikter och beroendeproblem över flöden under torrkörningsfasen innan körningen börjar.
• Ändringsbara metadata bevaras nu under uppdateringar av inmatningspipelinen, vilket möjliggör fullständigt stöd för ALTER-kommandon i inmatningsströmningstabeller.
• Python-fel i pipelines har nu SQL-tillståndskoder, vilket förbättrar feldiagnostiken och möjliggör bättre programmatisk felhantering i efterföljande verktyg.
• Pipelines stöder nu ARM-instanser för klassisk beräkning.

Felkorrigeringar

• Värden för identitetskolumner i strömmande tabeller med endast tillägg genereras nu korrekt vid första uppdateringskörning.

Januari 2026

De här funktionerna och förbättringarna av Lakeflow Spark deklarativa pipelines släpptes mellan 14 november 2025 och 13 januari 2026.

Databricks Runtime-versioner som används av den här versionen

Följande versioner var aktuella från och med den 13 januari 2026.

Kanal:

• CURRENT (standard): Databricks Runtime 17.3
• FÖRHANDSVERSION: Databricks Runtime 17.3

Nya funktioner och förbättringar

• Nu kan du lagra och hantera datakvalitetsförväntningar direkt i Unity Catalog-tabeller och centralisera datakvalitetsregler med ditt ramverk för datastyrning. Detta möjliggör versionsstyrda, granskningsbara kvalitetsregler som kan delas över flera pipelines.

• Kontinuerliga pipelines som körs längre än 7 dagar startas nu om på ett smidigt sätt med minimal stilleståndstid och en explicit uppdateringsorsak (INFRASTRUCTURE_MAINTENANCE), i stället för att plötsligt startas om när den underliggande beräkningen behöver uppdateras.

• Pipelines stöder nu körningsläge i kö, där flera uppdateringsbegäranden placeras i kö automatiskt och körs sekventiellt i stället för att misslyckas med konflikter. Detta förenklar åtgärder för pipelines med frekventa uppdateringsutlösare och eliminerar behovet av samordning av manuella återförsök.

• Nu kan du materialisera flera SCD Typ 2-vyer från en datakälla med en enda ändring, vilket förbättrar effektiviteten när du skapar flera historiska vyer av samma data. Detta eliminerar behovet av att bearbeta källdata för varje SCD Typ 2-utdata.

• Pipelinescheman och konfiguration kan nu lagras och läsas från tabellegenskaperna i Unity Catalog, vilket möjliggör centraliserad inställningshantering via datastyrning. På så sätt kan du hantera pipelinebeteendet tillsammans med dina datadefinitioner.

• MANAGE behörigheter sprids nu automatiskt till materialiserade vyer och strömmande tabeller i Unity Catalog, vilket förenklar behörighetshanteringen för pipelineutdata. Detta säkerställer konsekvent åtkomstkontroll utan manuella behörighetsbidrag.

• SCD Typ 2-åtgärder samlar nu automatiskt duplicerade poster med samma naturliga nyckel, vilket säkerställer datakonsekvens och förhindrar dubbletter av historiska poster i dina långsamt föränderliga dimensionstabeller.

• Pipelines har nu ett alternativ för att automatiskt släppa inaktiva tabeller som inte längre ingår i pipelinedefinitionen. Detta hjälper till att underhålla rena informationslager och minskar lagringskostnaderna från föråldrade tabeller. Se Använd Unity Catalog med pipelines.

• Pipelinedefinition, korrigeringsåtgärder och kör som-identitetsändringar ingår nu i granskningsloggen, vilket ger omfattande spårning av konfigurationsändringar för efterlevnad och säkerhetsövervakning. Se Händelselogg för pipeline.

Felkorrigeringar

Inga betydande felkorrigeringar ingick i den här lanseringsperioden. Alla ändringar var nya funktioner och förbättringar.