Databricks Runtime 15.1 pour Machine Learning (EoS)

Databricks Runtime 15.1 pour Machine Learning fournit un environnement prêt à l'to-go pour machine learning et la science des données basée sur Databricks Runtime 15.1 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 15.1 ML est basé sur Databricks Runtime 15.1. Pour plus d’informations sur les nouveautés de Databricks Runtime 15.1, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 15.1 (EoS).

Dernières modifications

L’interface CLI Databricks héritée n’est plus installée par défaut.

Dans Databricks Runtime 14.3 LTS ML et antérieur, comme la version préinstallée de MLflow nécessitait l’interface CLI Databricks héritée, elle était automatiquement installée dans $PATH. Databricks Runtime 15.1 ML inclut la version MLflow 2.10.2, qui ne nécessite pas l’interface CLI héritée.

À compter de Databricks Runtime 15.1 ML, l’interface CLI Databricks héritée n’est plus installée automatiquement dans $PATH. Il s’agit d’un changement cassant pour les utilisateurs qui dépendent de l’interface CLI héritée installée dans le runtime. Des commandes comme %sh databricks ... ne fonctionnent plus dans Databricks Runtime 15.1 ML et ultérieur.

Pour continuer à utiliser la CLI Databricks héritée depuis un notebook, installez-la en tant que bibliothèque de cluster ou de notebook. La nouvelle interface CLI Databricks est disponible à partir du terminal web. Pour plus d’informations, consultez Utiliser le terminal web et l’interface CLI Databricks.

MLeap n’est plus disponible à compter de Databricks Runtime 15.1 ML

MLeap n’est plus disponible dans Databricks Runtime 15.1 ML et ultérieur. Pour empaqueter des modèles pour le déploiement sur des frameworks JVM, Databricks recommande d’utiliser le format ONNX.

Dépréciation de Horovod et HorovodRunner

Horovod et HorovodRunner sont désormais déconseillés. Pour le Deep Learning distribué, Databricks recommande d’utiliser TorchDistributor pour l’apprentissage distribué avec PyTorch ou l’API tf.distribute.Strategy pour l’apprentissage distribué avec TensorFlow. Horovod et HorovodRunner sont préinstallés dans Databricks Runtime 15.1 ML, mais ils seront supprimés dans la prochaine version majeure de Databricks Runtime ML.

Environnement du système

L’environnement système dans Databricks Runtime 15.1 ML diffère de celui de Databricks Runtime 15.1 comme suit :

• Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
  • CUDA 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliothèques

les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 15.1 ML qui diffèrent de celles incluses dans Databricks Runtime 15.1.

Dans cette section :

• Bibliothèques de niveau supérieur
• bibliothèques Python
• Bibliothèques R
• bibliothèques Java et Scala (cluster Scala 2.12)

Bibliothèques de niveau supérieur

Databricks Runtime 15.1 ML inclut les bibliothèques de premier niveau suivantes :

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn
• (Déconseillé) Horovod et HorovodRunner

bibliothèques de Python

Databricks Runtime 15.1 ML utilise virtualenv pour la gestion des packages Python et inclut de nombreux packages ML populaires.

Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 15.1 ML inclut également les packages suivants :

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.25.0

Pour reproduire l’environnement Databricks Runtime ML Python dans votre environnement virtuel Python local, téléchargez le fichier requirements-15.1.txt et exécutez pip install -r requirements-15.1.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl, databricks-feature-store, ou le fork Databricks de hyperopt.

bibliothèques de Python sur les clusters processeur

bibliothèques Python sur des clusters GPU

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 15.1.

bibliothèques Java et Scala (cluster Scala 2.12)

Outre les bibliothèques Java et Scala dans Databricks Runtime 15.1, Databricks Runtime 15.1 ML contient les JARs suivants :

Clusters CPU

Clusters de GPU