Databricks Runtime 14.0 pour Machine Learning (EoS)

Note

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks Runtime 14.0 pour l'apprentissage automatique fournit un environnement prêt à l'emploi pour l'apprentissage automatique et la science des données basé sur Databricks Runtime 14.0 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Pour plus d’informations, y compris les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et machine learning sur Databricks.

Nouvelles fonctionnalités et améliorations

Databricks Runtime 14.0 ML est basé sur Databricks Runtime 14.0. Pour plus d’informations sur les nouveautés de Databricks Runtime 14.0, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 14.0 (EoS).

Environnement du système

L'environnement système dans Databricks Runtime 14.0 ML diffère de Databricks Runtime 14.0 comme suit :

Databricks Runtime 14.0 ML inclut XGBoost 1.7.6, qui ne prend pas en charge les clusters GPU avec une capacité de calcul 5.2 et inférieure.

Les packages suivants inclus dans les versions précédentes de Databricks Runtime ML ont été supprimés dans Databricks Runtime 14.0 ML :

  • miniconda
  • MLeap

Libraries

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 14.0 ML qui diffèrent de celles incluses dans Databricks Runtime 14.0.

Dans cette section :

Bibliothèques de niveau supérieur

Databricks Runtime 14.0 ML inclut les bibliothèques de premier niveau suivantes :

bibliothèques de Python

Databricks Runtime 14.0 ML utilise Virtualenv pour Python gestion des packages et inclut de nombreux packages ML populaires.

Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 14.0 ML inclut également les packages suivants :

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.21.1

Pour reproduire l’environnement Databricks Runtime ML Python dans votre environnement virtuel Python local, téléchargez le fichier requirements-14.0.txt et exécutez pip install -r requirements-14.0.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl, databricks-feature-store, ou le fork Databricks de hyperopt.

bibliothèques de Python sur les clusters processeur

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.21.0 AIOHTTP 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attributs 22.1.0 lecture de fichiers audio 3.0.0 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 Azure Storage File Data Lake 12.12.0
backcall 0.2.0 bcrypt 3.2.0 bellesoupe4 4.11.1
black 22.6.0 bleach 4.1.0 clignotant 1.4
félicité 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.1 catalogue 2.0.9 encodeurs de catégorie 2.6.1
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 comm 0.1.2 confection 0.1.1
configparser 5.2.0 contourpy 1.0.5 convertdate 2.4.0
chiffrement 39.0.1 cycliste 0.11.0 cymem 2.0.7
Cython 0.29.32 dacite (type de roche volcanique) 1.8.1 databricks-automl-runtime 0.2.18
databricks-cli 0.17.7 databricks-feature-store (magasin de fonctionnalités databricks) 0.14.1 Kit de développement logiciel Databricks (SDK) 0.1.6
dataclasses-json 0.5.14 ensembles de données 2.14.1 dbl-tempo 0.1.23
dbus-python 1.2.18 debugpy 1.6.7 décorateur 5.1.1
deepspeed 0.10.0 defusedxml 0.7.1 aneth 0.3.6
cache de disque 5.6.1 distlib 0.3.7 Conversion de docstring en markdown 0.11
points d’entrée 0,4 ephem 4.1.4 évaluer 0.4.0
exécution 0.8.3 aperçu des facettes 1.1.1 fastapi 0.98.0
fastjsonschema 2.18.0 fasttext 0.9.2 verrou de fichier 3.9.0
Fiole 2.2.5 flatbuffers 26/05/2023 outils de police 4.25.0
frozenlist 1.4.0 fsspec 2022.11.0 futur 0.18.3
gast 0.4.0 Bibliothèque de runtime de Cloud de la communauté du secteur public (GCC) 1.10.0 gitdb (base de données Git) 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3 google-cloud-storage (Stockage dans le cloud de Google) 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.60.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
vacances 0,28 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 outils HTTP 0.6.0 huggingface-hub 0.14.1
IDNA 3.4 ImageHash 4.3.1 imbalanced-learn 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 c'est dangereux 2.0.1 Jedi 0.18.1
Jeepney (véhicule de transport public philippin) 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 serveur Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 keras 2.13.1
porte-clés 23.5.0 kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 codes de langue 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0,3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.39.1 Calendrier lunaire 0.0.9 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
guimauve 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mlflow-skinny (version légère de mlflow) 2.5.0
more-itertools 8.10.0 mpmath 1.2.1 msgpack 1.0.5
Multidict 6.0.4 multiméthode 1.9.1 multiprocessus 0.70.14
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclassic 0.5.2
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 2.8.4 Ninja 1.11.1
nltk 3.7 nodeenv 1.8.0 notebook 6.5.2
notebook_shim 0.2.2 numba 0.56.4 numexpr 2.8.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 empaquetage 22.0
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 Pathy 0.10.2
patsy 0.5.3 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Pillow 9.4.0
pip 22.3.1 platformdirs 2.5.2 tracé 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 toutou 1.4.0
prétraité 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
prophète 1.1.4 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 éditeur de Python 1.0.4
python-lsp-jsonrpc 1.0.0 serveur LSP pour Python 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 requests 2.28.1
requests-oauthlib 1.3.1 réponses 0.18.0 corde 1.7.0
Rsa 4,9 s3transfer 0.6.2 safetensors 0.3.2
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformateurs de phrases 2.2.2 sentencepiece 0.1.99
setuptools 65.6.3 forme 0.41.0 simplejson 3.17.6
six 1.16.0 découpeur 0.0.7 ouverture intelligente 5.2.1
smmap 5.0.0 sniffio 1.2.0 fichier audio 0.12.1
soupsieve 2.3.2.post1 soxr 0.3.6 spacy 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5.11 données en pile 0.2.0 starlette 0.27.0
statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5 Sympy 1.11.1 tabulate 0.8.10
emmêlé-up-in-unicode 0.2.0 ténacité 8.1.0 TensorBoard (outil de visualisation pour le machine learning) 2.13.0
serveur de données TensorBoard 0.7.1 tensorboard-plugin-profile 2.13.0 tensorflow-cpu 2.13.0
estimateur TensorFlow 2.13.0 tensorflow-io-gcs-filesystem 0.33.0 termcolor 2.3.0
terminé 0.17.1 Thinc 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
générateurs de jetons 0.13.3 tomli 2.0.1 torche 2.0.1+ processeur
Torchvision 0.15.2+unité centrale de traitement tornade 6.1 tqdm 4.64.1
Traitlets 5.7.1 Transformateurs 4.31.0 typeguard 2.13.3
Typer 0.9.0 saisie-inspection 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
uvicorn 0.23.2 uvloop 0.17.0 virtualenv 20.16.7
visions 0.7.5 wadllib 1.3.6 wasabi 1.1.2
watchfiles 0.19.0 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 websockets 11.0.3 Outil 2.2.2
c’est quoi le patch 1.0.2 roue 0.38.4 widgetsnbextension 3.6.1
nuage de mots 1.9.2 enveloppé 1.14.1 xgboost 1.7.6
xxhash 3.3.0 yapf 0.31.0 yarl 1.9.2
Ydata profilage 4.2.0 zipp 3.11.0

bibliothèques Python sur des clusters GPU

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.21.0 AIOHTTP 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attributs 22.1.0 lecture de fichiers audio 3.0.0 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 Azure Storage File Data Lake 12.12.0
backcall 0.2.0 bcrypt 3.2.0 bellesoupe4 4.11.1
black 22.6.0 bleach 4.1.0 clignotant 1.4
félicité 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.1 catalogue 2.0.9 encodeurs de catégorie 2.6.1
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 cloudpickle 2.0.0
cmake 3.27.2 cmdstanpy 1.1.0 comm 0.1.2
confection 0.1.1 configparser 5.2.0 contourpy 1.0.5
convertdate 2.4.0 chiffrement 39.0.1 cycliste 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite (type de roche volcanique) 1.8.1
databricks-automl-runtime 0.2.18 databricks-cli 0.17.7 databricks-feature-store (magasin de fonctionnalités databricks) 0.14.1
Kit de développement logiciel Databricks (SDK) 0.1.6 dataclasses-json 0.5.14 ensembles de données 2.14.1
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.6.7
décorateur 5.1.1 deepspeed 0.10.0 defusedxml 0.7.1
aneth 0.3.6 cache de disque 5.6.1 distlib 0.3.7
Conversion de docstring en markdown 0.11 einops 0.6.1 points d’entrée 0,4
ephem 4.1.4 évaluer 0.4.0 exécution 0.8.3
aperçu des facettes 1.1.1 fastapi 0.98.0 fastjsonschema 2.18.0
fasttext 0.9.2 verrou de fichier 3.9.0 flash-attn 2.0.1
Fiole 2.2.5 flatbuffers 26/05/2023 outils de police 4.25.0
frozenlist 1.4.0 fsspec 2022.11.0 futur 0.18.3
gast 0.4.0 Bibliothèque de runtime de Cloud de la communauté du secteur public (GCC) 1.10.0 gitdb (base de données Git) 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3 google-cloud-storage (Stockage dans le cloud de Google) 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.5.0
googleapis-common-protos 1.60.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
vacances 0,28 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 outils HTTP 0.6.0 huggingface-hub 0.14.1
IDNA 3.4 ImageHash 4.3.1 imbalanced-learn 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 c'est dangereux 2.0.1 Jedi 0.18.1
Jeepney (véhicule de transport public philippin) 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 serveur Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 keras 2.13.1
porte-clés 23.5.0 kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 codes de langue 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0,3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
allumé 16.0.6 llvmlite 0.39.1 Calendrier lunaire 0.0.9
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 guimauve 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
mlflow-skinny (version légère de mlflow) 2.5.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.5 Multidict 6.0.4 multiméthode 1.9.1
multiprocessus 0.70.14 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1 nltk 3.7 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numexpr 2.8.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.27.8 openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0
empaquetage 22.0 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.10.3
Pathy 0.10.2 patsy 0.5.3 Petastorm 0.12.1
pexpect 4.8.0 phik 0.12.3 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
tracé 5.9.0 pluggy 1.0.0 pmdarima 2.0.3
toutou 1.4.0 prétraité 3.0.8 prompt-toolkit 3.0.36
prophète 1.1.4 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 éditeur de Python 1.0.4
python-lsp-jsonrpc 1.0.0 serveur LSP pour Python 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 requests 2.28.1
requests-oauthlib 1.3.1 réponses 0.18.0 corde 1.7.0
Rsa 4,9 s3transfer 0.6.2 safetensors 0.3.2
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformateurs de phrases 2.2.2 sentencepiece 0.1.99
setuptools 65.6.3 forme 0.41.0 simplejson 3.17.6
six 1.16.0 découpeur 0.0.7 ouverture intelligente 5.2.1
smmap 5.0.0 sniffio 1.2.0 fichier audio 0.12.1
soupsieve 2.3.2.post1 soxr 0.3.6 spacy 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5.11 données en pile 0.2.0 starlette 0.27.0
statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5 Sympy 1.11.1 tabulate 0.8.10
emmêlé-up-in-unicode 0.2.0 ténacité 8.1.0 TensorBoard (outil de visualisation pour le machine learning) 2.13.0
serveur de données TensorBoard 0.7.1 tensorboard-plugin-profile 2.13.0 Tensorflow 2.13.0
estimateur TensorFlow 2.13.0 tensorflow-io-gcs-filesystem 0.33.0 termcolor 2.3.0
terminé 0.17.1 Thinc 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
générateurs de jetons 0.13.3 tomli 2.0.1 torche 2.0.1+cu118
Torchvision 0.15.2+cu118 tornade 6.1 tqdm 4.64.1
Traitlets 5.7.1 Transformateurs 4.31.0 triton 2.0.0
typeguard 2.13.3 Typer 0.9.0 saisie-inspection 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.14 uvicorn 0.23.2 uvloop 0.17.0
virtualenv 20.16.7 visions 0.7.5 wadllib 1.3.6
wasabi 1.1.2 watchfiles 0.19.0 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 websockets 11.0.3
Outil 2.2.2 c’est quoi le patch 1.0.2 roue 0.38.4
widgetsnbextension 3.6.1 nuage de mots 1.9.2 enveloppé 1.14.1
xgboost 1.7.6 xxhash 3.3.0 yapf 0.31.0
yarl 1.9.2 Ydata profilage 4.2.0 zipp 3.11.0

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 14.0.

bibliothèques Java et Scala (cluster Scala 2.12)

Outre les bibliothèques Java et Scala dans Databricks Runtime 14.0, Databricks Runtime 14.0 ML contient les JARs suivants :

Clusters de CPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on