Notes de publication des pipelines déclaratifs Spark Lakeflow 2026

Les fonctionnalités, améliorations et correctifs de bogues des pipelines déclaratifs Lakeflow Spark suivants ont été publiés en 2026.

Mars 2026

Ces fonctionnalités et améliorations apportées aux pipelines déclaratifs Spark Lakeflow ont été publiées entre le 26 février 2026 et le 31 mars 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient à jour le 31 mars 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3.8
• Aperçu : Databricks Runtime 18.1.0

Nouvelles fonctionnalités et améliorations

• Les pipelines serverless prennent désormais en charge la mise à l’échelle automatique verticale basée sur le processeur. La fonctionnalité ajuste dynamiquement les ressources de cluster en fonction de l’utilisation réelle du processeur pour améliorer la stabilité de la charge de travail.
• Vous pouvez maintenant conserver les tables du catalogue Unity lors de la suppression d’un pipeline, en conservant vos ressources de données même après la suppression du pipeline. Cela vous offre une plus grande flexibilité dans la gestion des cycles de vie des pipelines sans risque de perte de données.
• Vous pouvez désormais créer des tables de diffusion en continu à l’aide de la nouvelle syntaxe de flux, qui fournit un moyen plus direct et déclaratif de définir des pipelines de données de streaming. Cela simplifie la création et l’alignement des pipelines avec les modèles d’ingénierie de données actuels.
• Les hooks de pipeline sont désormais disponibles pour les pipelines déclenchés par des travaux. Utilisez-les pour exécuter une logique personnalisée avant et après les mises à jour de pipeline dans les jobs Lakeflow. Les crochets de pipeline étendent les capacités d’automatisation pour le traitement orchestré des données.
• Les pipelines conservent désormais les configurations de filtre de lignes et de masque de colonne pendant les mises à jour des tables, de sorte que vos stratégies de sécurité du catalogue Unity restent intactes dans les actualisations du pipeline. Cela empêche la suppression accidentelle d’une stratégie de sécurité pendant l’évolution du schéma.
• La fonctionnalité CDC prend désormais en charge le mode de rebasage des dates et heures. La fonctionnalité gère correctement les conversions d'horodatage entre les systèmes de calendrier classiques et modernes. Cela empêche les incohérences de données lors du traitement des données datetime historiques par le biais de flux de capture de données modifiées.
• Vous pouvez désormais utiliser des instructions SQL au sein foreachBatch d’opérations dans des pipelines de streaming, ce qui permet une logique de traitement de micro-lots plus flexible. Cela supprime les limitations précédentes qui nécessitaient Python ou Scala pour la gestion de lots personnalisée.
• Les pipelines prennent désormais en charge les références futures dans l’enregistrement du récepteur. Vous pouvez définir des flux de données qui référencent des tables en aval avant qu’elles ne soient déclarées. Cela simplifie les définitions de pipeline complexes et supprime les contraintes de classement.
• Les flux d’ajout une fois sont désormais validés pendant les exécutions sèches, en interceptant les erreurs de configuration avant le début de l’exécution du pipeline. Cela améliore l'expérience de développement en mettant en évidence les problèmes plus tôt dans le processus d'élaboration des pipelines.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.

Février 2026

Ces fonctionnalités et améliorations apportées aux pipelines déclaratifs Spark Lakeflow ont été publiées entre le 14 janvier 2026 et le 25 février 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 25 février 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Les pipelines prennent désormais en charge l’élargissement des types pour les tables Delta, ce qui permet d'élargir en toute sécurité les types de données des colonnes (par exemple, de INT à LONG, de FLOAT à DOUBLE) sans nécessiter une réinitialisation complète du pipeline. Cela permet des flux de travail d’évolution de schéma qui nécessitaient auparavant une intervention manuelle.
• Vous pouvez maintenant utiliser la matérialisation SCD Type 1 avec AUTO CDC, fournissant un modèle CDC plus simple qui insère ou met à jour la dernière valeur sans conserver l’historique complet des modifications. Cela réduit la surcharge de stockage pour les cas d’usage qui ne nécessitent pas d’historique complet.
• Les pipelines réutilisent désormais les clusters existants lors de la nouvelle tentative de mises à jour ayant échoué, ce qui réduit la latence des nouvelles tentatives et réduit les coûts de calcul en éliminant le temps de démarrage du cluster redondant.
• L’activation de l’optimisation prédictive s’affiche désormais correctement sur les vues matérialisées et les tables de diffusion en continu, si elles ont été actualisées au cours du mois dernier.
• Les pipelines valident désormais plusieurs flux ensemble, interceptant les conflits de configuration et les problèmes de dépendance entre les flux pendant la phase d’exécution sèche avant le début de l’exécution.
• Les métadonnées modifiables sont désormais conservées pendant les mises à jour du pipeline d’ingestion, ce qui permet une prise en charge complète des commandes « ALTER » sur les tables de streaming d’ingestion.
• Les erreurs Python dans les pipelines contiennent désormais des codes d’état SQL, améliorant les diagnostics d’erreurs et permettant une meilleure gestion programmatique des erreurs pour les outils en aval.
• Les pipelines prennent désormais en charge les instances ARM pour le calcul classique.

Corrections de bugs

• Les valeurs des colonnes d’identité dans les tables de streaming en append-only sont désormais correctement générées dès la première mise à jour.

Janvier 2026

Ces fonctionnalités et améliorations apportées aux pipelines déclaratifs Spark Lakeflow ont été publiées entre le 14 novembre 2025 et le 13 janvier 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 13 janvier 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Vous pouvez désormais stocker et gérer les attentes de qualité des données directement dans les tables du catalogue Unity, centralisant les règles de qualité des données avec votre framework de gouvernance des données. Cela permet la gestion de versions et l'audit des règles de qualité, lesquelles peuvent être partagées sur plusieurs pipelines.

• Les pipelines continus qui s'exécutent plus de 7 jours redémarrent en douceur avec un temps d'arrêt minimal et une cause de mise à jour explicite (INFRASTRUCTURE_MAINTENANCE), au lieu de redémarrer brusquement lorsque les ressources de calcul sous-jacentes doivent être actualisées.

• Les pipelines prennent désormais en charge le mode d'exécution en file d'attente, permettant à plusieurs demandes de mise à jour d'être automatiquement mises en attente et exécutées séquentiellement, évitant ainsi les échecs dus aux conflits. Cela simplifie les opérations pour les pipelines avec des déclencheurs de mise à jour fréquents et élimine la nécessité d’une coordination manuelle des nouvelles tentatives.

• Vous pouvez maintenant matérialiser plusieurs vues SCD Type 2 à partir d’une seule source de données modifiées, ce qui améliore l’efficacité lors de la création de plusieurs vues historiques des mêmes données. Cela élimine la nécessité de retraiter les données sources pour chaque sortie SCD Type 2.

• Les planifications et la configuration du pipeline peuvent désormais être stockées et lues à partir des propriétés de la table catalogue Unity, ce qui permet la gestion des paramètres centralisés par le biais de la gouvernance des données. Cela vous permet de gérer le comportement du pipeline en même temps que vos définitions de données.

• MANAGE les autorisations sont désormais propagées automatiquement aux vues matérialisées et aux tables de streaming dans le catalogue Unity, ce qui simplifie la gestion des autorisations pour les sorties de pipeline. Cela garantit un contrôle d’accès cohérent sans octroi d’autorisations manuelles.

• Les opérations SCD Type 2 fusionnent désormais automatiquement les enregistrements en double avec la même clé naturelle, garantissant ainsi la cohérence des données et empêchant les enregistrements historiques en double dans vos tables de dimension à variation lente.

• Les pipelines ont désormais la possibilité de supprimer automatiquement les tables inactives qui ne font plus partie de la définition du pipeline. Cela permet de conserver des entrepôts de données propres et de réduire les coûts de stockage des tables obsolètes. Consultez Utiliser le catalogue Unity avec des pipelines.

• La définition du pipeline, les opérations de correction et les modifications de l'identité d'exécution sont désormais consignées dans le journal d’audit, offrant un suivi exhaustif des modifications de configuration pour la conformité et la surveillance de la sécurité. Consultez le journal des événements pipeline.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.