Releaseopmerkingen voor Lakeflow Spark Declarative Pipelines 2026

De volgende functies, verbeteringen en bugfixes van Lakeflow Spark Declarative Pipelines zijn uitgebracht in 2026.

Maart 2026

Deze functies en verbeteringen in Lakeflow Spark Declarative Pipelines zijn uitgebracht tussen 26 februari 2026 en 31 maart 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 31 maart 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3.8
• PREVIEW: Databricks Runtime 18.1.0

Nieuwe functies en verbeteringen

• Serverloze pijplijnen ondersteunen nu verticale automatische schaalaanpassing op basis van CPU. De functie past clusterresources dynamisch aan op basis van het werkelijke CPU-gebruik om de stabiliteit van de werkbelasting te verbeteren.
• U kunt nu Unity Catalog-tabellen behouden bij het verwijderen van een pijplijn, waarbij uw gegevensassets behouden blijven, zelfs nadat de pijplijn is verwijderd. Dit biedt meer flexibiliteit bij het beheren van levenscycluss van pijplijnen zonder risico op gegevensverlies.
• U kunt nu streamingtabellen maken met behulp van de nieuwe stroomsyntaxis, die een meer directe, declaratieve manier biedt om pijplijnen voor streaminggegevens te definiëren. Dit vereenvoudigt het ontwerpen van pijplijnen en is afgestemd op de huidige patronen voor data engineering.
• Pijplijnhaken zijn nu beschikbaar voor door taken geactiveerde pijplijnen. Gebruik deze om aangepaste logica uit te voeren voor en na pijplijnupdates binnen Lakeflow-taken. Pijplijnhaken breiden automatiseringsmogelijkheden uit voor ingedeelde gegevensverwerking.
• Pijplijnen behouden nu configuraties voor rijfilters en kolommaskers tijdens tabelupdates, zodat uw Unity Catalog-beveiligingsbeleid intact blijft tijdens pijplijnvernieuwingen. Dit voorkomt onbedoeld verwijderen van beveiligingsbeleid tijdens de ontwikkeling van het schema.
• CDC past nu wijzigingen toe in en ondersteunt nu de datumbasis-modus. De functie verwerkt tijdstempelconversies tussen verouderde en moderne kalendersystemen correct. Dit voorkomt inconsistenties van gegevens bij het verwerken van historische datum/tijd-gegevens via gegevensopnamestromen voor wijzigingen.
• U kunt nu SQL-instructies gebruiken in foreachBatch bewerkingen in streamingpijplijnen, waardoor u flexibelere microbatchverwerkingslogica kunt inschakelen. Dit verwijdert eerdere beperkingen die vereisten dat Python of Scala nodig was voor aangepaste batchverwerking.
• Pijplijnen bieden nu ondersteuning voor vooruitverwijzingen in sinkregistratie. U kunt gegevensstromen definiëren die verwijzen naar downstreamtabellen voordat ze worden gedeclareerd. Dit vereenvoudigt complexe pijplijndefinities en verwijdert bestelbeperkingen.
• Append-once flows worden nu gevalideerd tijdens proefuitvoeringen, waarbij configuratiefouten worden opgevangen voordat de pijplijnuitvoering begint. Dit verbetert de ontwikkelervaring door eerder in de werkstroom voor het ontwerpen van pijplijnen problemen op te lossen.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.

Februari 2026

Deze functies en verbeteringen in Lakeflow Spark Declarative Pipelines zijn uitgebracht tussen 14 januari 2026 en 25 februari 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 25 februari 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 17.3

Nieuwe functies en verbeteringen

• Pijplijnen bieden nu ondersteuning voor het uitbreiden van typen voor Delta-tabellen, zodat kolomgegevenstypen veilig kunnen worden uitgebreid (bijvoorbeeld INT tot , naar LONGFLOATDOUBLE) zonder dat een volledige pijplijn opnieuw hoeft te worden ingesteld. Hierdoor zijn werkstromen voor schemaontwikkeling mogelijk waarvoor eerder handmatige interventie is vereist.
• U kunt nu SCD Type 1-materalisatie gebruiken met AUTO CDC, waardoor een eenvoudiger CDC-patroon wordt geboden dat de meest recente waarde toevoegt of bijwerkt zonder de volledige geschiedenis van wijzigingen te bewaren. Dit vermindert de opslagoverhead voor gebruiksvoorbeelden waarvoor geen volledige geschiedenis is vereist.
• Pijplijnen hergebruiken nu bestaande clusters bij het opnieuw proberen van mislukte updates, waardoor de latentie voor opnieuw proberen wordt verminderd en de rekenkosten worden verlaagd door de opstarttijd van redundante clusters te elimineren.
• De activering van voorspellende optimalisatie wordt nu correct weergegeven in gerealiseerde weergaven en streamingtabellen, als deze in de afgelopen maand zijn vernieuwd.
• Pijplijnen valideren nu meerdere stromen samen, waarbij configuratieconflicten en afhankelijkheidsproblemen tussen stromen worden opgespoord tijdens de testfase voordat de uitvoering begint.
• Alterable metadata worden nu behouden tijdens updates van de opnamepijplijn, waardoor volledige ondersteuning voor ALTER-opdrachten op opnamestreamingtabellen mogelijk is.
• Python fouten in pijplijnen bevatten nu SQL-statuscodes, waardoor foutdiagnose wordt verbeterd en de verwerking van programmatische fouten in downstreamhulpprogramma's wordt verbeterd.
• Pijplijnen ondersteunen nu ARM-exemplaren voor klassieke berekeningen.

Fouten opgelost

• Waarden voor identiteitskolommen in append-only streamingtabellen worden nu correct gegenereerd tijdens de eerste update-uitvoering.

Januari 2026

Deze functies en verbeteringen in Lakeflow Spark Declarative Pipelines zijn uitgebracht tussen 14 november 2025 en 13 januari 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 13 januari 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 17.3

Nieuwe functies en verbeteringen

• U kunt nu de verwachtingen van gegevenskwaliteit rechtstreeks opslaan en beheren in Unity Catalog-tabellen, waarbij u regels voor gegevenskwaliteit centraliseert met uw datagovernanceframework. Dit maakt versiebeheerde, controleerbare kwaliteitsregels mogelijk die kunnen worden gedeeld via meerdere pijplijnen.

• Continue pijplijnen die langer dan zeven dagen worden uitgevoerd, worden nu probleemloos opnieuw opgestart met minimale downtime en een expliciete updateoorzaak (INFRASTRUCTURE_MAINTENANCE) in plaats van plotseling opnieuw op te starten wanneer de onderliggende berekening moet worden vernieuwd.

• Pijplijnen ondersteunen nu de uitvoeringsmodus in de wachtrij, waarbij meerdere updateaanvragen automatisch in de wachtrij worden geplaatst en opeenvolgend worden uitgevoerd in plaats van te mislukken met conflicten. Dit vereenvoudigt bewerkingen voor pijplijnen met frequente updatetriggers en elimineert de noodzaak voor handmatige coördinatie van nieuwe pogingen.

• U kunt nu meerdere SCD Type 2-weergaven van één gegevensbron wijzigen, waardoor de efficiëntie wordt verbeterd bij het maken van meerdere historische weergaven van dezelfde gegevens. Dit elimineert de noodzaak om brongegevens voor elke SCD Type 2-uitvoer opnieuw te verwerken.

• Pijplijnplanningen en -configuratie kunnen nu worden opgeslagen en gelezen uit eigenschappen van de Unity Catalog-tabel, waardoor gecentraliseerd instellingenbeheer via gegevensbeheer mogelijk is. Hiermee kunt u het gedrag van pijplijnen naast uw gegevensdefinities beheren.

• MANAGE machtigingen worden nu automatisch doorgegeven aan gerealiseerde weergaven en streamingtabellen in Unity Catalog, waardoor machtigingsbeheer voor pijplijnuitvoer wordt vereenvoudigd. Dit zorgt voor consistent toegangsbeheer zonder handmatige machtigingen.

• SCD Type 2-bewerkingen samenvoegen nu automatisch dubbele records met dezelfde natuurlijke sleutel, waardoor gegevensconsistentie wordt gegarandeerd en dubbele historische records in uw langzaam veranderende dimensietabellen worden voorkomen.

• Pijplijnen hebben nu de mogelijkheid om inactieve tabellen die geen deel meer uitmaken van de pijplijndefinitie automatisch te verwijderen. Dit helpt bij het onderhouden van schone datawarehouses en vermindert de opslagkosten van verouderde tabellen. Zie Unity Catalog gebruiken met pijplijnen.

• Pijplijndefinitie, patchbewerkingen en run-as-identiteitswijzigingen worden nu opgenomen in het auditlogboek en bieden uitgebreide tracering van configuratiewijzigingen voor naleving en beveiligingsbewaking. Zie het gebeurtenislogboek van de pijplijn.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.