DLT-version 2022.40

28 september – 5 oktober 2022

Dessa funktioner och förbättringar släpptes med 2022.40-versionen av DLT.

Databricks Runtime-versioner som används av den här versionen

Kanal:

• AKTUELL (standard): Databricks Runtime 11.0.7
• FÖRHANDSVERSION: Databricks Runtime 11.0.7

Nya funktioner och förbättringar i den här versionen

• Om du använder en annan klusteretikett än default eller maintenance i pipelineinställningarna uppstår fel när pipelinen skapas eller redigeras. Mer information om klusterkonfiguration för Lakeflow Spark deklarativa pipelines finns i Konfiguration av klassisk beräkning för pipelines.

• Nu kan du öppna eller köra pipelines direkt från dina notebook-filer för Lakeflow Spark Deklarativa pipelines. Se: Utveckla och felsöka pipelines med en anteckningsbok (äldre).

• Den här versionen innehåller en icke-bakåtkompatibel ändring i datastrukturen för pipelineinställningar som returneras av DLT--API-begäranden. Den här ändringen returnerar fältet edition i versaler. Tidigare returnerades det här värdet som blandat skiftläge. Du måste uppdatera klienterna som läser edition värdet i API-svar för att säkerställa korrekt bearbetning av returvärdet. Det edition-värdet i API-begäranden är dock skiftlägesokänsligt; dina klienter som skickar begäranden inklusive det här fältet behöver inte uppdateras.

Felkorrigeringar i den här versionen

• Den här versionen åtgärdar ett fel som gör att DLT-användargränssnittet visar en pipeline i ett RUNNING tillstånd även efter uppdateringsfel.

• Den här uppdateringen åtgärdar ett fel i APPLY_CHANGES-gränssnittet vid ombearbetning av indata där data innehåller duplicerade DELETE åtgärder med samma värde i kolumnen SEQUENCE. Det här scenariot resulterar i NULL värden i måltabellen och borttagning av DeleteVersion-värdet. Detta motsvarar att markera posten som NOT-DELETED. Med den här ändringen hanteras dubbla DELETE åtgärder på ett idempotent sätt och markerar alltid posten som DELETED.

• Den här versionen åtgärdar ett fel som gör att rader döljs under SCD typ 2-bearbetning när en tidigare historisk post som innehåller samma kolumner som nästa historiska post tas bort.

• Den här uppdateringen åtgärdar ett fel som gör att en vy med en expect_or_fail förväntning förblir i RUNNING tillstånd även om förväntningen misslyckas. Med den här korrigeringen misslyckas pipelinen och övergår till tillståndet FAILED.