Août 2023

Ces fonctionnalités et améliorations de Azure Databricks plateforme ont été publiées en août 2023.

Les tables s’affichent désormais dans la recherche de navigation

31 août 2023

Les tables inscrites dans Unity Catalog apparaissent désormais dans la recherche de navigation dans la barre supérieure. Consultez Recherche des objets de l’espace de travail.

Interface CLI Databricks mise à jour vers la version 0.203.3 (préversion publique)

30 août 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.203.3. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.3.

Pilote JDBC Databricks 2.6.34

30 août 2023

Nous avons publié la version 2.6.34 du pilote JDBC Databricks (télécharger). Cette version résout un certain nombre de problèmes de vulnérabilité en mettant à niveau des bibliothèques tierces. De plus, cette version résout les problèmes suivants :

• Fuite de thread lorsqu'une requête ne parvient pas à se connecter au serveur.
• Commentaires manquants dans la colonne REMARKS des métadonnées de la table.
• Lorsqu'une opération de fermeture du jeu de résultats retourne une erreur, le connecteur ne nettoie pas les entrées du descripteur de l'opération du thread de pulsation.

La version améliore également la gestion des messages d'erreur en respectant SQLState et les codes d'erreur du serveur et en vérifiant correctement la version du protocole du serveur.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.18.0 (bêta)

29 août 2023

Le SDK Databricks pour Go version 0.18.0 introduit 30 nouvelles API, 17 modifications d'API majeures et ajoute environ une douzaine de champs. Pour plus d’informations, consultez le journal des modifications de la version 0.18.0.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.7.0 (bêta)

29 août 2023

Databricks SDK pour Python version 0.7.0 introduit un changement de rupture pour l'API de fichiers, ainsi que 17 autres changements de rupture. Cette version ajoute également 14 champs et 27 classes de données. Pour plus d’informations, consultez le journal des modifications de la version 0.7.0.

Fournisseur Databricks Terraform mis à jour vers la version 1.24.1

29 août 2023

Le fournisseur Databricks Terraform version 1.24.1 inclut un correctif pour la vérification de l’accessibilité de l’espace de travail. Pour plus d’informations, consultez le journal des modifications de la version 1.24.1.

La date de fin de vie des scripts d'initialisation sur DBFS est prolongée jusqu'au 1er décembre 2023.

29 août 2023

Databricks a précédemment annoncé que les scripts d'initialisation sur DBFS arriveraient en fin de vie le 1er septembre 2023. La date de fin de vie a été prorogée jusqu'au 1er décembre 2023.

Databricks Runtime 14.0 (bêta)

29 août 2023

Databricks Runtime 14.0 et Databricks Runtime 14.0 ML sont désormais disponibles en versions bêta.

Consultez Databricks Runtime 14.0 (EoS) et Databricks Runtime 14.0 pour Machine Learning (EoS).

L'expérience de navigation unifiée est en disponibilité générale

28 août 2023

L’expérience de navigation unifiée Azure Databricks est désormais en disponibilité générale. Les utilisateurs ne peuvent plus revenir à l'expérience de navigation classique. Pour plus d’informations, consultez l’interface utilisateur de l’espace de travail.

Fournisseur Databricks Terraform mis à jour vers la version 1.24.0

25 août 2023

Le fournisseur Databricks Terraform version 1.24.0 ajoute la prise en charge de l’API au niveau du compte pour les objets Unity Catalog, ajoute acl_principal_id à plusieurs sources de données, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 1.24.0.

Paramètre Databricks Runtime pour Genomics supprimé de la page des paramètres d'administration de l'espace de travail

25 août 2023

Les administrateurs de l'espace de travail ne peuvent plus activer ou désactiver Databricks Runtime for Genomics à partir de la page des paramètres d'administration de l'espace de travail ou de l'API de configuration de l'espace de travail. Le runtime Databricks Genomics est obsolète et la prise en charge du runtime Databricks pour la génomique a été supprimée le 24 septembre 2022.

Le runtime Genomics Databricks a été abandonné. Pour des équivalents open source, consultez les dépôts de genomics-pipelines et Glow.

Pour plus d'informations sur la politique et le calendrier d'obsolescence de Databricks Runtime, consultez Versions LTS de Databricks Runtime prises en charge.

Paramètre des services de conteneur supprimé de la page des paramètres d'administration de l'espace de travail

25 août 2023

Les administrateurs d'espace de travail ne peuvent plus activer ou désactiver les services de conteneur à partir de la page des paramètres d'administration de l'espace de travail. Container Services vous permet d'utiliser des conteneurs clients sur vos clusters. Il est activé par défaut sur tous les nouveaux espaces de travail. Container Services peut toujours être activé ou désactivé à l'aide de l'API de configuration de l'espace de travail. Pour en savoir plus, référez-vous à la section Activer Container Services.

Interface CLI Databricks mise à jour vers la version 0.203.2 (préversion publique)

24 août 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.203.2. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.2.

Accéder à la définition des fonctions et des variables dans Python notebooks

24 août 2023

Dans Databricks Runtime 12.2 LTS et versions ultérieures, lorsqu’un notebook Python est attaché à un cluster, vous pouvez accéder automatiquement à la définition d’une variable ou d’une fonction définie dans ce notebook. Référez-vous à Accéder à la définition pour en savoir plus.

Databricks Runtime 13.3 LTS est en disponibilité générale

22 août 2023

Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS ML sont désormais en disponibilité générale.

Consultez Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS pour Machine Learning.

Présentation des étiquettes avec Unity Catalog

22 août 2023

Vous pouvez désormais appliquer des balises à vos objets sécurisables dans Unity Catalog. Les étiquettes vous permettent d'organiser les objets sécurisables. Elles simplifient la recherche et la détection de vos ressources de données. Consultez l'application des étiquettes aux objets sécurisables dans le Unity Catalog.

La liste d'autorisation pour les scripts d'initialisation, les fichiers JAR et les coordonnées Maven sur les clusters partagés Unity Catalog est en préversion publique

23 août 2023

Vous pouvez désormais utiliser Unity Catalog allowlist pour contrôler l'installation des scripts d'initialisation, des fichiers JAR et des coordonnées Maven sur des instances de calcul en mode d'accès partagé exécutant Databricks Runtime 13.3 et versions supérieures. Consultez Bibliothèques de listes d’autorisation et scripts init sur le calcul en mode d’accès standard (anciennement mode d’accès partagé).

La prise en charge des volumes pour les scripts d'initialisation et les fichiers JAR est en préversion publique

23 août 2023

Vous pouvez désormais utiliser les volumes Unity Catalog pour stocker les scripts d'initialisation et les fichiers JAR sur le calcul avec des modes d'accès attribués ou partagés exécutant Databricks Runtime 13.3 et versions ultérieures. Consultez les bibliothèques délimitées par le calcul et installez des bibliothèques à partir d’un volume.

Facilitation des validations des fichiers .ipynb dans les repos Databricks

21 août 2023

Databricks Repos a ajouté des fonctionnalités pour rendre les validations de sortie de fichiers .ipynb plus faciles à contrôler et à voir :

• Repos pouvez créer un fichier de configuration commit_output pour vous.
• Les notifications dans l'interface utilisateur vous permettent de connaître le statut des validations de sortie.
• Dans le menu Fichier, vous pouvez vérifier si les sorties de notebook sont validées.

Référez-vous à la section Contrôler les validations de sortie de notebook .ipynb.

La prise en charge des notebooks IPYNB dans Databricks Repos est disponible en version générale.

21 août 2023

La prise en charge des fichiers de notebook IPYNB dans Databricks Repos est en disponibilité générale. Pour plus d’informations sur Repos, consultez :

• Prise en charge des notebooks IPYNB
• Azure Databricks répertoires Git

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.17.0 (bêta)

18 août 2023

Le SDK Databricks pour Go version 0.17.0 ajoute plus de 30 API et en renomme environ 10. Pour plus d’informations, consultez le journal des modifications de la version 0.17.0.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.6.0 (bêta)

18 août 2023

Databricks SDK pour Python version 0.6.0 ajoute environ 20 classes de données, ajoute environ 10 API et inclut environ 20 renommages. Pour plus d’informations, consultez le journal des modifications de la version 0.6.0.

Interface CLI Databricks mise à jour vers la version 0.203.1 (préversion publique)

16 août 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.203.1. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.1.

Le navigateur de schémas unifié est désormais en disponibilité générale.

16 août 2023

Un moyen unifié de naviguer dans vos données est désormais disponible pour les notebooks, l’éditeur SQL et Catalog Explorer, y compris les nouvelles fonctionnalités suivantes :

• Version condensée de l'arborescence.
• Affichage du nombre d'objets Unity Catalog au niveau du schéma lors du filtrage.
• Faites un clic droit sur le menu pour afficher les actions.

Les modifications de sous-réseau serverless peuvent vous affecter si vous encodez des ID dans un script ou un modèle.

15 août 2023

Si vous utilisez un pare-feu Azure Storage jusqu’à la fin du mois d’août, certains ID de sous-réseau changent. Cette n'affecte pas la plupart des clients, car Azure migre automatiquement les ID de sous-réseau dans les règles de pare-feu de stockage existantes. Cette migration n'affecte pas les charges de travail existantes.

Si vous encodez la liste des sous-réseaux serverless dans un modèle ou un script qui met à jour vos règles de pare-feu de stockage Azure, vous devez obtenir la dernière liste des ID de sous-réseau avant de tenter de mettre à jour les règles. Pour connaître les derniers ID de chaque région, consultez Azure Databricks régions.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.16.0 (bêta)

14 août 2023

Le SDK Databricks pour Go version 0.16.0 ajoute une douzaine de champs, en supprime une demi-douzaine et modifie les signatures d’une demi-douzaine d’API. Pour plus d’informations, consultez le journal des modifications de la version 0.16.0.

Partner Connect prend en charge Census

14 août 2023

Vous pouvez maintenant utiliser Partner Connect pour connecter votre espace de travail Azure Databricks au recensement. Pour en savoir plus, référez-vous à la section Se connecter à Census.

Les clés HSM managées d'Azure Key Vault sont désormais prises en charge pour les clés gérées par le client.

14 août 2023

Certains Azure Databricks services et données prennent en charge l’ajout d’une clé gérée par le client pour protéger et contrôler l’accès aux données chiffrées. Azure Databricks a trois fonctionnalités clés gérées par le client qui impliquent différents types de données et d’emplacements. Ces trois fonctionnalités prennent désormais en charge les clés gérées par le client à partir de Azure Key Vault HSM managé (modules de sécurité matérielle) en même temps que les coffres Azure Key Vault. Référez-vous à la section Clés gérées par le client pour le chiffrement.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.5.0 (bêta)

11 août 2023

Databricks SDK pour Python version 0.5.0 modifie les signatures d’une demi-douzaine d’API, ajoute une douzaine de champs, supprime un demi-douzaine de champs et ajoute quelques classes de données. Pour plus d’informations, consultez le journal des modifications de la version 0.5.0.

Prise en charge de l'écriture par programmation pour les fichiers d'espace de travail

11 août 2023

Les clusters utilisant Databricks Runtime 11.2 et les versions ultérieures prennent en charge l'écriture dans des fichiers d'espace de travail. Vous pouvez créer, mettre à jour et supprimer des fichiers et des répertoires par programmation au sein de votre espace de travail.

Interface CLI Databricks mise à jour vers la version 0.203.0 (préversion publique)

10 août 2023

L’interface de ligne de commande Databricks (Interface CLI Databricks) version 0.203.0 améliore la commande auth login, et bien plus encore. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.0.

Fournisseur Databricks Terraform mis à jour vers la version 1.23.0

9 août 2023

La version 1.23.0 du fournisseur Databricks Terraform étend RunJobTask avec des champs supplémentaires pris en charge dans databricks_job, ajoute la prise en charge de l’exportateur pour databricks_model_serving, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 1.23.0.

Les groupes peuvent à présent être renommés

8 août 2023

Vous pouvez désormais renommer des groupes de comptes et des groupes locaux d'espace de travail existants. Référez-vous à la section Modifier le nom d'un groupe.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.15.0 (bêta)

7 août 2023

Le kit de développement logiciel (SDK) Databricks pour Go version 0.15.0 refactorise les API liées aux autorisations pour les rendre plus compréhensibles et plus faciles à utiliser. Pour en savoir plus, référez-vous au journal des modifications de la version 0.15.0.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.4.0 (bêta)

7 août 2023

Databricks SDK pour Python version 0.4.0 refactorise les API liées aux autorisations pour les rendre plus compréhensibles et plus faciles à utiliser. Pour en savoir plus, référez-vous au journal des modifications de la version 0.4.0.

Le paramètre de configuration de la prévention de l'iFraming tiers a été supprimé

7 août 2023

Azure Databricks réduit le risque de domaines tiers à partir de l’iFraming Azure Databricks en ajoutant des en-têtes HTTP appropriés. La prévention iFraming tierce est toujours activée par défaut, mais Azure Databricks a supprimé la possibilité pour l’administrateur de l’espace de travail d’empêcher sa désactivation. Si vous avez précédemment désactivé l'iFraming tiers pour un espace de travail, la fonctionnalité continue d'être désactivée pour cet espace de travail. Pour réactiver l’iFraming tiers, contactez votre équipe de compte Azure Databricks.

Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.1

4 août 2023

L’extension Databricks pour Visual Studio Code version 1.1.1 fournit plusieurs correctifs mineurs, par exemple la gestion correcte de la variable d’environnement HOME sur Windows, etc. Pour en savoir plus, référez-vous au journal des modifications de la version 1.1.1.

LangChain disponible dans les versions 13.1 et ultérieures

4 août 2023

LangChain est disponible sous la forme d’une saveur MLflow expérimentale qui permet aux clients LangChain de tirer parti des outils robustes et des fonctionnalités de suivi des expériences de MLflow directement à partir de l’environnement Azure Databricks.

LangChain est un cadre logiciel conçu pour aider à créer des applications qui utilisent de grands modèles de langage (LLM) et les combiner avec des données externes pour apporter plus de contexte de formation pour vos LLM.

Databricks Runtime pour Machine Learning inclut langchain dans Databricks Runtime 13.1 ML et versions ultérieures.

L'ingénierie de caractéristiques dans Unity Catalog est en préversion publique.

3 août 2023

Avec l'ingénierie de caractéristiques dans Unity Catalog, Unity Catalog devient votre magasin de fonctionnalités. Vous pouvez utiliser n'importe quelle table Delta avec une clé primaire comme table de caractéristiques pour la formation ou l'inférence du modèle. Unity Catalog offre la découverte et la gouvernance des fonctionnalités.

Amélioration de la gestion des erreurs en cas de défaillances répétées d'une tâche en continu

3 août 2023

Les travaux continus dépassant un seuil pour les défaillances consécutives utilisent désormais un schéma de backoff exponentiel pour réessayer efficacement les exécutions de travaux et permettre aux travaux de récupérer suite à des problèmes temporaires. Auparavant, les travaux continus dépassant le seuil d'échec étaient suspendus et non retentés.

Entrepôts SQL serverless désormais disponibles dans d'autres régions

3 août 2023

Entrepôts SQL serverless disponibles dans d'autres régions : Australie Est, Canada Centre, USA Ouest 2, USA Centre Sud et Asie Sud-Est. Consultez les régions Azure Databricks.

Si vous envisagez d’utiliser un pare-feu Azure Storage, configurez le pare-feu pour autoriser l’accès à partir de sous-réseaux d'entrepôts SQL sans serveur. Consultez les régions Azure Databricks.

Partager des schémas à l'aide de Delta Sharing (préversion publique)

2 août 2023

Delta Sharing vous permet désormais de partager un schéma entier, en donnant au destinataire l'accès à toutes les tables et vues du schéma au moment où vous le partagez, ainsi qu'à toutes les tables et vues ajoutées au schéma à l'avenir. L’ajout de schémas à un partage à l’aide de commandes SQL nécessite un entrepôt SQL ou un cluster exécutant Databricks Runtime 13.2 ou une version ultérieure. Faire la même chose avec Catalog Explorer n’implique aucune exigence de calcul. Référez-vous à la sectionAjouter des schémas à un partage.

Exécuter des tâches de manière conditionnelle dans vos travaux de Azure Databricks

2 août 2023

Vous pouvez utiliser la nouvelle condition Run if pour exécuter une tâche de travail en fonction de l'état des dépendances de la tâche, ce qui offre plus de flexibilité lorsque vous implémentez un flux de travail avec un travail Azure Databricks. Par exemple, vous pouvez utiliser la Run if condition pour exécuter une tâche lorsque certaines ou toutes les dépendances de la tâche ont échoué. Consultez Configurer les dépendances de tâche.

Fournisseur Databricks Terraform mis à jour vers la version 1.22.0

1er août 2023

Le fournisseur Databricks Terraform version 1.22.0 ajoute une ressource databricks_access_control_rule_set, ajoute des sources de données databricks_metastore et databricks_metastore, etc. Pour en savoir plus, référez-vous au journal des modifications de la version 1.22.0.

Fonctionnalités de sécurité et de conformité améliorées

1er août 2023

Vous pouvez activer le profil de sécurité de conformité, qui fournit une surveillance supplémentaire, une image de calcul renforcée et d'autres fonctionnalités sur vos espaces de travail. Le profil de sécurité de conformité est requis pour utiliser Azure Databricks pour traiter les données réglementées par PCI-DSS, mais vous pouvez choisir d’activer le profil si vous ne traitez pas ces données. Vous êtes seul responsable de votre propre conformité à la réglementation applicable.

Vous pouvez également activer séparément la surveillance de la sécurité renforcée, qui fournit une surveillance supplémentaire et une image de calcul renforcée.

Les deux fonctionnalités sont disponibles dans le cadre du nouveau module complémentaire Sécurité et conformité renforcées. Si vous activez l'une de ces fonctionnalités sur un espace de travail, vous serez facturé pour le nouveau module complémentaire, comme indiqué sur la page de tarification. Les deux fonctionnalités nécessitent le niveau tarifaire Premium.

Lakehouse Monitoring est une préversion publique

1er août 2023

Databricks Lakehouse Monitoring intègre la supervision de la qualité des données et des modèles dans la plateforme Databricks. Il fournit des métriques de qualité prêtes à l'emploi, telles que des statistiques récapitulatives, des changements dans la distribution au fil du temps et des performances du modèle, y compris l'impartialité et le biais. Lakehouse Monitoring génère automatiquement un tableau de bord récapitulatif pour vous permettre de visualiser la qualité des données au fil du temps. Vous pouvez également configurer des alertes en fonction des données.

Databricks Runtime 13.3 LTS (bêta)

1er août 2023

Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS ML sont désormais disponibles en version bêta.

Consultez Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS pour Machine Learning.

Les nouvelles opérations Git sont en disponibilité générale : fusionner des branches, rebaser et extraire avec la résolution des conflits

1er août 2023

Les opérations Git suivantes sont désormais généralement disponibles dans Databricks Repos :

• Fusionner et rebaser : vous pouvez désormais Git fusionner ou rebase deux branches directement dans Azure Databricks. Le processus de combinaison de branches est ainsi simplifié et les conflits qui surviennent pendant l'opération peuvent être résolus.
• Pull avec résolution des conflits : vous pouvez désormais utiliser Databricks Repos pour gérer et résoudre les conflits qui se produisent lorsque vous extrayez à partir d’un référentiel Git distant à l’aide de Azure Databricks.

Avec ces nouveaux outils de résolution de conflits puissants, la collaboration sur le code à l’aide de Databricks Repos devient encore plus rationalisée et efficace.