Lakeflow Spark Declarative Pipelines utgåva 2025.30

23 juli - 30, 2025

Dessa funktioner och förbättringar släpptes med 2025.30-versionen av Lakeflow Spark Deklarativa Pipelines.

Databricks Runtime-versioner som används av den här versionen

Kanal:

  • CURRENT (standard): Databricks Runtime 16.1
  • FÖRHANDSVERSION: Databricks Runtime 16.4

Anmärkning

Eftersom versioner av Lakeflow Spark Declarative Pipelines-kanalen följer en löpande uppgraderingsprocess distribueras kanaluppgraderingar till olika regioner vid olika tidpunkter. Din version, inklusive Databricks Runtime-versioner, kanske inte uppdateras förrän en vecka eller mer efter det första lanseringsdatumet. Information om hur du hittar Databricks Runtime-versionen för en pipeline finns i Runtime-information.

Nya funktioner och förbättringar

  • Vi har lagt till följande nya funktioner i AUTO CDC API:er i Lakeflow Spark Deklarativa Pipelines.

    • Flera flöden per mål: Kommandot create_auto_cdc_flow stöder nu en namnparameter, vilket gör att flera oberoende AUTO CDC-flöden kan skriva till samma måltabell. Detta möjliggör scenarier som att tillämpa både inkrementella uppdateringar och korrigeringsströmmar på en enda tabell.

    • Engångspåfyllningar: En ny parameter en gång stöder engångsåtgärder för återfyllnad (t.ex. inledande hydreringar). När en gång = sant matar flödet in en ögonblicksbild av data en enda gång och ignorerar framtida filinkomster.

    • SQL-stöd: Med ny CREATE FLOW SQL-syntax kan du använda AUTO CDC INTO direkt i SQL, med samma stöd för namn och en gång.

  • Lakeflow-redigeraren har nu stöd för klusteranslutning på begäran + kluster keep-alive som utlöses av användaraktivitet.

  • Last updated on