Notas de lançamento dos Lakeflow Spark Declarative Pipelines 2026

As seguintes funcionalidades, melhorias e correções de bugs do Lakeflow Spark Declarative Pipelines foram lançadas em 2026.

Fevereiro de 2026

Estas funcionalidades e melhorias aos Lakeflow Spark Declarative Pipelines foram lançadas entre 14 de janeiro de 2026 e 25 de fevereiro de 2026.

Versões do Databricks Runtime usadas por esta versão

Canal:

• CURRENT (predefinido): Databricks Runtime 17.3
• PRÉ-VISUALIZAÇÃO: Databricks Runtime 17.3

Novos recursos e melhorias

• Os pipelines suportam agora o alargamento de tipos para tabelas Delta, permitindo que os tipos de dados das colunas sejam alargados de forma segura (por exemplo, INT para LONG, FLOAT para DOUBLE) sem necessidade de um reset total do pipeline. Isto permite fluxos de trabalho de evolução de esquemas que anteriormente exigiam intervenção manual.
• Agora pode usar a materialização SCD Tipo 1 com AUTO CDC, fornecendo um padrão CDC mais simples que eleva o valor mais recente sem manter o histórico completo de alterações. Isto reduz a sobrecarga de armazenamento para casos de uso que não exigem histórico completo.
• Os pipelines agora reutilizam clusters existentes ao tentar atualizações com falhas, reduzindo a latência de novas tentativas e diminuindo os custos de computação ao eliminar o tempo redundante de inicialização de clusters.
• A ativação da otimização preditiva é agora exibida corretamente em visualizações materializadas e tabelas de streaming, caso tenham sido atualizadas no último mês.
• Os pipelines agora validam múltiplos fluxos em simultâneo, detetando conflitos de configuração e problemas de dependência entre fluxos durante a fase de teste antes do início da execução.
• Metadados alteráveis são agora preservados ao longo das atualizações do pipeline de ingestão, permitindo suporte completo aos comandos 'ALTER' nas tabelas de streaming.
• Os erros Python em pipelines agora transportam códigos de estado SQL, melhorando o diagnóstico de erros e permitindo um melhor tratamento programático de erros em ferramentas posteriores.
• Os pipelines suportam agora instâncias ARM para computação clássica.

Correções de erros

• Os valores das colunas de identidade nas tabelas de fluxo apenas adicionáveis são agora gerados corretamente na primeira atualização.

Janeiro de 2026

Estas funcionalidades e melhorias aos Lakeflow Spark Declarative Pipelines foram lançadas entre 14 de novembro de 2025 e 13 de janeiro de 2026.

Versões do Databricks Runtime usadas por esta versão

Canal:

• CURRENT (predefinido): Databricks Runtime 17.3
• PRÉ-VISUALIZAÇÃO: Databricks Runtime 17.3

Novos recursos e melhorias

• Agora pode armazenar e gerir as expectativas de qualidade dos dados diretamente nas tabelas do Unity Catalog, centralizando as regras de qualidade dos dados com o seu framework de governação de dados. Isto permite regras de qualidade passíveis de auditoria e com controlo de versões que podem ser partilhadas por várias pipelines.

• Pipelines contínuos com mais de 7 dias agora reiniciam de forma gradual, com tempo de inatividade mínimo e uma causa explícita de atualização (INFRASTRUCTURE_MAINTENANCE), em vez de reiniciarem abruptamente quando o cálculo subjacente precisa de ser atualizado.

• Os pipelines suportam agora o modo de execução em fila, onde múltiplos pedidos de atualização são automaticamente enfileirados e executados sequencialmente em vez de falharem devido a conflitos. Isto simplifica as operações para pipelines com gatilhos frequentes de atualização e elimina a necessidade de coordenação manual de novas tentativas.

• Agora pode materializar múltiplas vistas SCD Tipo 2 a partir de uma única fonte de dados de alteração, melhorando a eficiência ao criar múltiplas vistas históricas dos mesmos dados. Isto elimina a necessidade de reprocessar os dados fonte para cada saída SCD Tipo 2.

• Os agendamentos e configurações do pipeline podem agora ser armazenados e lidos a partir das propriedades das tabelas do Unity Catalog, permitindo a gestão centralizada de definições através da governação de dados. Isto permite-lhe gerir o comportamento do pipeline juntamente com as definições dos seus dados.

• MANAGE as permissões são agora automaticamente propagadas para vistas materializadas e tabelas de streaming no Unity Catalog, simplificando a gestão de permissões para saídas de pipeline. Isto garante um controlo de acesso consistente sem autorizações manuais.

• As operações SCD Tipo 2 agora coalescem automaticamente registos duplicados com a mesma chave natural, garantindo consistência dos dados e prevenindo registos históricos duplicados nas suas tabelas de dimensões que mudam lentamente.

• Os pipelines têm agora uma opção para eliminar automaticamente tabelas inativas que já não fazem parte da definição do pipeline. Isto ajuda a manter armazéns de dados limpos e reduz os custos de armazenamento provenientes de tabelas obsoletas. Consulte Utilizar o catálogo Unity com pipelines.

• A definição do pipeline, as operações de correção e as alterações de identidade de execução estão agora incluídas no registo de auditoria, proporcionando um acompanhamento abrangente das alterações de configuração para monitorização de conformidade e segurança. Consulte Log de eventos do pipeline.

Correções de erros

Não foram incluídas correções de bugs significativas neste período de lançamento. Todas as alterações foram novas funcionalidades e melhorias.