Databricks Runtime 12.2 LTS pour Machine Learning (EoS)

Databricks Runtime 12.2 LTS pour Machine Learning fournit un environnement prêt à l'to-go pour machine learning et la science des données basée sur Databricks Runtime 12.2 LTS (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 12.2 LTS ML est construit sur Databricks Runtime 12.2 LTS. Pour plus d’informations sur les nouveautés de Databricks Runtime 12.2 LTS, notamment Apache Spark MLlib et SparkR, consultez les notes de publication databricks Runtime 12.2 LTS (EoS).

AutoML (Apprentissage automatique automatisé)

Vous pouvez utiliser les tables de fonctionnalités existantes dans Feature Store pour augmenter l'ensemble de données d'entrée d'origine pour les problèmes de prévision AutoML. Pour plus d’informations, consultez l’intégration du Magasin de fonctionnalités AutoML.

Pour plus d’informations sur AutoML, consultez Qu’est-ce que AutoML ?.

Environnement du système

L'environnement système dans Databricks Runtime 12.2 LTS ML diffère de Databricks Runtime 12.2 LTS comme suit :

• DBUtils : Databricks Runtime ML n’inclut pas l’Utilitaire de bibliothèque (dbutils.library) (hérité). Utilisez les commandes %pip à la place. Consultez bibliothèques Python à l'échelle du notebook.
• Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Databricks Runtime 12.2 LTS ML inclut XGBoost 1.7.2, qui ne prend pas en charge les clusters GPU avec une capacité de calcul 5.2 et inférieure.

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 12.2 LTS ML qui diffèrent de celles incluses dans Databricks Runtime 12.2 LTS.

Dans cette section :

• Bibliothèques de niveau supérieur
• bibliothèques Python
• Bibliothèques R
• bibliothèques Java et Scala (cluster Scala 2.12)

Bibliothèques de niveau supérieur

Databricks Runtime 12.2 LTS ML inclut les bibliothèques de niveau supérieur suivantes :

• GraphFrames
• Horovod et HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

bibliothèques de Python

Databricks Runtime 12.2 LTS ML utilise Virtualenv pour Python gestion des packages et inclut de nombreux packages ML populaires.

Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 12.2 LTS ML inclut également les packages suivants :

• hyperopt 0.2.7+db3
• sparkdl 2.3.0-db3
• automl 1.16.0

Pour reproduire l’environnement Databricks Runtime ML Python dans votre environnement virtuel Python local, téléchargez le fichier requirements-12.2.txt et exécutez pip install -r requirements-12.2.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl, databricks-feature-store, ou le fork Databricks de hyperopt.

bibliothèques de Python sur les clusters processeur

bibliothèques Python sur des clusters GPU

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 12.2 LTS.

bibliothèques Java et Scala (cluster Scala 2.12)

Outre les bibliothèques Java et Scala dans Databricks Runtime 12.2 LTS, Databricks Runtime 12.2 LTS ML contient les JARs suivants :

Clusters CPU

Clusters de GPU