Databricks Runtime 11.0 pour Machine Learning (EoS)

Note

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks Runtime 11.0 pour le machine learning fournit un environnement prêt à l'emploi pour le machine learning et la science des données basée sur Databricks Runtime 11.0 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Pour plus d’informations, y compris les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et machine learning sur Databricks.

Nouvelles fonctionnalités et améliorations

Databricks Runtime 11.0 ML s’appuie sur Databricks Runtime 11.0. Pour plus d’informations sur les nouveautés de Databricks Runtime 11.0, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 11.0 (EoS).

Améliorations apportées à AutoML

AutoML prend désormais en charge des fractions d’échantillonnage plus élevées pour améliorer les performances sur les jeux de données volumineux. Pour plus d’informations, consultez Échantillonnage de jeux de données volumineux.

Environnement du système

L’environnement système de Databricks Runtime 11.0 ML diffère de Databricks Runtime 11.0 comme suit :

Libraries

Les sections suivantes listent les bibliothèques incluses dans Databricks Runtime ML 11.0 qui diffèrent de celles incluses dans Databricks Runtime 11.0.

Dans cette section :

Bibliothèques de niveau supérieur

Databricks Runtime 11.0 ML comprend les bibliothèquesde niveau supérieur suivantes :

bibliothèques de Python

Databricks Runtime 11.0 ML utilise Virtualenv pour Python gestion des packages et inclut de nombreux packages ML populaires.

En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 11.0 ML comprend également les packages suivants :

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature_store 0.4.1
  • automl 1.10

bibliothèques de Python sur les clusters processeur

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 Antergos Linux 2015,10 (ISO-Rolling) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 générateur asynchrone 1,10
attributs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 bleach 4.0.0 félicité 0.7.7
boto3 1.21.18 botocore 1.24.18 cachetools 5.1.0
catalogue 2.0.7 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 cliquez 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
convertdate 2.4.0 chiffrement 3.4.8 cycliste 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 décorateur 5.1.0 defusedxml 0.7.1
aneth 0.3.4 cache de disque 5.4.0 distlib 0.3.4
distro-info 0.23ubuntu1 points d’entrée 0,3 ephem 4.1.3
aperçu des facettes 1.0.0 fasttext 0.9.2 verrou de fichier 3.3.1
Fiole 1.1.2 flatbuffers 2.0 fsspec 2021.8.1
futur 0.18.2 gast 0.5.3 gitdb (base de données Git) 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.3
vacances 0,13 Horovod 0.24.3 htmlmin 0.1.12
huggingface-hub 0.6.0 IDNA 3.2 ImageHash 4.2.1
imbalanced-learn 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 c'est dangereux 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0
keras 2.8.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
calendrier lunaire coréen 0.2.1 codes de langue 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 Calendrier lunaire 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
Mistune 0.8.4 mleap 0.20.0 mlflow-skinny (version légère de mlflow) 1.26.0
multiméthode 1.8 murmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notebook 6.4.5
numba 0.55.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 empaquetage 21,0 Pandas 1.3.4
pandas-profiling 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 Pathy 0.6.1 patsy 0.5.2
Petastorm 0.11.4 pexpect 4.8.0 phik 0.12.2
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 tracé 5.6.0 pmdarima 1.8.5
prétraité 3.0.6 prometheus-client 0.11.0 prompt-toolkit 3.0.20
prophète 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.2
pycparser 2.20 pydantic 1.8.2 Pygments 2.10.0
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
éditeur de Python 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6,0 pyzmq 22.2.1 regex 3 août 2021
requests 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
Rsa 4.8 s3transfer 0.5.2 sacremoses 0.0.53
scikit-learn 0.24.2 scipy (bibliothèque Python pour le calcul scientifique) 1.7.1 seaborn 0.11.2
Send2Trash 1.8.0 setuptools 58.0.4 setuptools-git 1.2
forme 0.40.0 simplejson 3.17.6 six 1.16.0
découpeur 0.0.7 ouverture intelligente 5.2.1 smmap 5.0.0
spacy 3.2.3 spacy-legacy 3.0.9 spacy-loggers 1.0.2
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 srsly 2.4.3
ssh-import-id 5.10 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.2 tabulate 0.8.9
emmêlé-up-in-unicode 0.1.0 ténacité 8.0.1 TensorBoard (outil de visualisation pour le machine learning) 2.8.0
serveur de données TensorBoard 0.6.1 tensorboard-plugin-profile 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.8.0 estimateur TensorFlow 2.8.0 tensorflow-io-gcs-filesystem 0.25.0
termcolor 1.1.0 terminé 0.9.4 chemin de test 0.5.0
tf-estimateur-nightly 2.8.0.dev2021122109 Thinc 8.0.15 threadpoolctl 2.2.0
générateurs de jetons 0.12.1 torche 1.11.0+cpu Torchvision 0.12.0+cpu
tornade 6.1 tqdm 4.62.3 Traitlets 5.1.0
Transformateurs 4.17.0 Typer 0.4.1 extensions de typage 3.10.0.2
ujson 4.0.2 unattended-upgrades 0.1 urllib3 1.26.7
virtualenv 20.8.0 visions 0.7.4 wasabi 0.9.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 1.3.1
Outil 2.0.2 roue 0.37.0 widgetsnbextension 3.6.0
enveloppé 1.12.1 xgboost 1.5.2 zipp 3.6.0

bibliothèques Python sur des clusters GPU

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 Antergos Linux 2015,10 (ISO-Rolling) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 générateur asynchrone 1,10
attributs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 bleach 4.0.0 félicité 0.7.7
boto3 1.21.18 botocore 1.24.18 cachetools 5.1.0
catalogue 2.0.7 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 cliquez 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
convertdate 2.4.0 chiffrement 3.4.8 cycliste 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 décorateur 5.1.0 defusedxml 0.7.1
aneth 0.3.4 cache de disque 5.4.0 distlib 0.3.4
distro-info 0.23ubuntu1 points d’entrée 0,3 ephem 4.1.3
aperçu des facettes 1.0.0 fasttext 0.9.2 verrou de fichier 3.3.1
Fiole 1.1.2 flatbuffers 2.0 fsspec 2021.8.1
futur 0.18.2 gast 0.5.3 gitdb (base de données Git) 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.3
vacances 0,13 Horovod 0.24.3 htmlmin 0.1.12
huggingface-hub 0.6.0 IDNA 3.2 ImageHash 4.2.1
imbalanced-learn 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 c'est dangereux 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0
keras 2.8.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
calendrier lunaire coréen 0.2.1 codes de langue 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 Calendrier lunaire 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
Mistune 0.8.4 mleap 0.20.0 mlflow-skinny (version légère de mlflow) 1.26.0
multiméthode 1.8 murmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notebook 6.4.5
numba 0.55.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 empaquetage 21,0 Pandas 1.3.4
pandas-profiling 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 Pathy 0.6.1 patsy 0.5.2
Petastorm 0.11.4 pexpect 4.8.0 phik 0.12.2
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 tracé 5.6.0 pmdarima 1.8.5
prétraité 3.0.6 prompt-toolkit 3.0.20 prophète 1.0.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.9.2 pycparser 2.20
pydantic 1.8.2 Pygments 2.10.0 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 éditeur de Python 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6,0
pyzmq 22.2.1 regex 3 août 2021 requests 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 Rsa 4.8
s3transfer 0.5.2 sacremoses 0.0.53 scikit-learn 0.24.2
scipy (bibliothèque Python pour le calcul scientifique) 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 forme 0.40.0
simplejson 3.17.6 six 1.16.0 découpeur 0.0.7
ouverture intelligente 5.2.1 smmap 5.0.0 spacy 3.2.3
spacy-legacy 3.0.9 spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.3 ssh-import-id 5.10
statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.2 tabulate 0.8.9 emmêlé-up-in-unicode 0.1.0
ténacité 8.0.1 TensorBoard (outil de visualisation pour le machine learning) 2.8.0 serveur de données TensorBoard 0.6.1
tensorboard-plugin-profile 2.5.0 tensorboard-plugin-wit 1.8.1 Tensorflow 2.8.0
estimateur TensorFlow 2.8.0 tensorflow-io-gcs-filesystem 0.25.0 termcolor 1.1.0
terminé 0.9.4 chemin de test 0.5.0 tf-estimateur-nightly 2.8.0.dev2021122109
Thinc 8.0.15 threadpoolctl 2.2.0 générateurs de jetons 0.12.1
torche 1.11.0+cu113 Torchvision 0.12.0+cu113 tornade 6.1
tqdm 4.62.3 Traitlets 5.1.0 Transformateurs 4.17.0
Typer 0.4.1 extensions de typage 3.10.0.2 ujson 4.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
visions 0.7.4 wasabi 0.9.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 1.3.1 Outil 2.0.2
roue 0.37.0 widgetsnbextension 3.6.0 enveloppé 1.12.1
xgboost 1.5.2 zipp 3.6.0

Packages Spark contenant des modules Python

Paquet Spark module Python Version
graphframes graphframes 0.8.2-db1-spark3.2

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 11.0.

bibliothèques Java et Scala (cluster Scala 2.12)

Outre les bibliothèques Java et Scala dans Databricks Runtime 11.0, Databricks Runtime 11.0 ML contient les JARs suivants :

Clusters de CPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on