Databricks Runtime 15.2 pour Machine Learning (EoS)

Note

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support et de fin de vie. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks Runtime 15.2 pour Machine Learning fournit un environnement prêt à l'emploi pour l'apprentissage automatique et la science des données basé sur Databricks Runtime 15.2 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 15.2 ML est basé sur Databricks Runtime 15.2. Pour plus d’informations sur les nouveautés de Databricks Runtime 15.2, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 15.2 (EoS).

Ajouter StreamingDataset

StreamingDataset permet de rendre la formation sur de grands ensembles de données à partir du stockage cloud aussi rapide, bon marché et évolutive que possible. Il est préinstallé dans Databricks Runtime 15.2 ML.

Prise en charge de Photon sur des clusters de processeur Databricks Runtime ML

À compter de Databricks Runtime 15.2 ML, vous pouvez accélérer vos charges de travail Spark SQL et Spark DataFrame en activant Photon sur le cluster de votre processeur.

Pour les applications d’apprentissage automatique, Photon offre des performances plus rapides pour des cas d’usage tel que :

Photon n’améliore pas les performances des bibliothèques Python, telles que TensorFlow, PyTorch et XGBoost.

Les API Spark RDD et Spark MLlib ont une compatibilité limitée avec Photon. Lors du traitement de grands jeux de données en utilisant Spark RDD ou Spark MLlib, vous pouvez rencontrer des problèmes de mémoire Spark. Consultez Problèmes de mémoire Spark.

Environnement du système

L’environnement système dans Databricks Runtime 15.2 ML diffère de celui de Databricks Runtime 15.2 comme suit :

  • Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 15.2 ML qui diffèrent de celles incluses dans Databricks Runtime 15.2.

Dans cette section :

Bibliothèques de niveau supérieur

Databricks Runtime 15.2 ML inclut les bibliothèques de premier niveau suivantes :

bibliothèques de Python

Databricks Runtime 15.2 ML utilise virtualenv pour la gestion des packages Python et inclut de nombreux packages ML populaires.

Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 15.2 ML inclut également les packages suivants :

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.26.0

Pour reproduire l'environnement ML Databricks Runtime dans votre environnement virtuel Python local, téléchargez le fichier requirements-15.2.txt et exécutez pip install -r requirements-15.2.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl, databricks-feature-engineering, ou le fork Databricks de hyperopt.

bibliothèques de Python sur les clusters processeur

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.28.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout (délai d'attente asynchrone) 4.0.2
attributs 22.1.0 audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 rappel 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 noir 23.3.0 blanchiment 4.1.0
clignotant 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.3.3
catalogue 2.0.10 encodeurs de catégories 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
disjoncteur 1.4.0 cliquer 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 coloré 0.5.6
comm 0.1.2 fabrication 0.1.4 configparser 5.2.0
contourpy 1.0.5 chiffrement 41.0.3 cycler 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 Ingénierie des fonctionnalités Databricks 0.4.0 databricks-sdk 0.20.0
dataclasses-json 0.6.4 jeux de données 2.18.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 décorateur 5.1.1
deepspeed 0.14.0 defusedxml 0.7.1 dill 0.3.6
diskcache 5.6.3 distlib 0.3.8 dm-tree 0.1.8
points d'entrée 0,4 évaluer 0.4.1 exécuter 0.8.3
aperçu-des-facettes 1.1.1 Farama-Notifications 0.0.4 fastjsonschema 2.19.1
fasttext 0.9.2 verrou de fichier 3.9.0 Flask 2.2.5
flatbuffers 24.3.25 fonttools 4.25.0 frozenlist 1.3.3
fsspec 2023.5.0 future 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google Cloud Storage 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 greenlet 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 gymnase 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 vacances 0,45
horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.20.2
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
imbalanced-learn (bibliothèque pour les ensembles de données déséquilibrés) 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 8.0.4 isodate 0.6.1
itsdangerous 2.0.1 jax-jumpy 1.0.0 jedi 0.18.1
jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 2.4 jsonschema 4.17.3 jupyter-server 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
jupyterlab-widgets 3.0.5 keras 3.1.1 gestionnaire de clés 23.5.0
kiwisolver 1.4.4 langchain 0.1.13 langchain-community 0.0.32
langchain-core 0.1.41 langchain-séparateurs-de-texte 0.0.1 codes de langue 3.3.0
langsmith 0.1.45 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
marshmallow 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdurl 0.1.0 mistune 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 more-itertools 8.10.0 mosaicml-streaming 0.7.4
mpmath 1.3.0 msal 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 multidict 6.0.2 multiméthode 1.11.2
multiprocessus 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
namex 0.0.7 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 ninja 1.11.1.1 nltk 3.8.1
ordinateur portable 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 oauthlib 3.2.0 oci 2.125.2
openai 1.14.3 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 optree 0.11.0 orjson 3.10.0
empaquetage 23,2 pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
dindon de la farce 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Pillow 9.4.0
pip 23.2.1 platformdirs 3.10.0 plotly 5.9.0
pmdarima 2.0.4 toutou 1.8.1 portalocker 2.8.2
preshed 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
prophète 1.1.5 proto-plus 1.23.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.12.0 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing 3.0.9 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 éditeur Python 1.0.4 python-lsp-jsonrpc 1.1.1
python-snappy 0.6.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 ray 2.10.0
regex 2022.7.9 demandes 2.31.0 requests-oauthlib 1.3.1
réponses 0.13.3 riche 13.7.1 rsa 4,9
s3transfer 0.10.1 safetensors 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 sentence-transformers 2.6.1
sentencepiece 0.1.99 setuptools 68.0.0 shap 0.44.0
simplejson 3.17.6 six 1.16.0 découpeur 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
fichier audio 0.12.1 soupsieve 2.4 soxr 0.3.7
spacy 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 données de pile 0.2.0
stanio 0.5.0 statsmodels 0.14.0 sympy 1.11.1
Imbroglio-en-Unicode 0.2.0 ténacité 8.2.2 tensorboard 2.16.2
Serveur de données TensorBoard 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2
tensorflow-cpu 2.16.1 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor 2.4.0 terminé 0.17.1 thinc 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 générateurs de jetons 0.15.0
lampe de poche 2.2.2+cpu torcheval 0.0.7 torchvision 0.17.2+cpu
tornado 6.3.2 tqdm 4.65.0 traitlets 5.7.1
transformateurs 4.39.2 typeguard 2.13.3 typer 0.9.4
typing-inspect 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 mises à jour automatiques 0.1 urllib3 1.26.16
virtualenv 20.21.0 visions 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 belette 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 outil 2.2.3
roue 0.38.4 widgetsnbextension 4.0.5 nuage de mots 1.9.3
enveloppé 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 zipp 3.11.0

bibliothèques Python sur des clusters GPU

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.28.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout (délai d'attente asynchrone) 4.0.2
attributs 22.1.0 audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 rappel 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 noir 23.3.0 blanchiment 4.1.0
clignotant 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.3.3
catalogue 2.0.10 encodeurs de catégories 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
disjoncteur 1.4.0 cliquer 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 coloré 0.5.6
comm 0.1.2 fabrication 0.1.4 configparser 5.2.0
contourpy 1.0.5 chiffrement 41.0.3 cycler 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 Ingénierie des fonctionnalités Databricks 0.4.0 databricks-sdk 0.20.0
dataclasses-json 0.6.4 jeux de données 2.18.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 décorateur 5.1.1
deepspeed 0.14.0 defusedxml 0.7.1 dill 0.3.6
diskcache 5.6.3 distlib 0.3.8 dm-tree 0.1.8
einops 0.7.0 points d'entrée 0,4 évaluer 0.4.1
exécuter 0.8.3 aperçu-des-facettes 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 verrou de fichier 3.9.0
flash-attn 2.5.6 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.25.0 frozenlist 1.3.3 fsspec 2023.5.0
future 0.18.3 gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google Cloud Storage 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.63.0 greenlet 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gymnase 0.28.1 h11 0.14.0 h5py 3.10.0
hjson 3.1.0 vacances 0,45 horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.20.2 idna 3.4
ImageHash 4.3.1 imageio 2.31.1 imbalanced-learn (bibliothèque pour les ensembles de données déséquilibrés) 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.4.0 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 itsdangerous 2.0.1
jax-jumpy 1.0.0 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-server 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5
keras 3.1.1 gestionnaire de clés 23.5.0 kiwisolver 1.4.4
langchain 0.1.13 langchain-community 0.0.32 langchain-core 0.1.41
langchain-séparateurs-de-texte 0.0.1 codes de langue 3.3.0 langsmith 0.1.45
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.2 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.3.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Mako 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 marshmallow 3.21.1
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdurl 0.1.0
mistune 0.8.4 ml-dtypes 0.3.2 mlflow-skinny 2.11.3
more-itertools 8.10.0 mosaicml-streaming 0.7.4 mpmath 1.3.0
msal 1.28.0 msal-extensions 1.1.0 msgpack 1.0.8
multidict 6.0.2 multiméthode 1.11.2 multiprocessus 0.70.14
murmurhash 1.0.10 mypy-extensions 0.4.3 namex 0.0.7
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
ninja 1.11.1.1 nltk 3.8.1 ordinateur portable 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105
nvidia-cuda-runtime-cu12 12.1.105 nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54
nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106
nvidia-nccl-cu12 2.19.3 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.1.105
oauthlib 3.2.0 oci 2.125.2 openai 1.14.3
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
optree 0.11.0 orjson 3.10.0 empaquetage 23,2
pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 dindon de la farce 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Pillow 9.4.0 pip 23.2.1
platformdirs 3.10.0 plotly 5.9.0 pmdarima 2.0.4
toutou 1.8.1 portalocker 2.8.2 preshed 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 prophète 1.1.5
proto-plus 1.23.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.12.0 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyOpenSSL 23.2.0 pyparsing 3.0.9
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
éditeur Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 ray 2.10.0 regex 2022.7.9
demandes 2.31.0 requests-oauthlib 1.3.1 réponses 0.13.3
riche 13.7.1 rsa 4,9 s3transfer 0.10.1
safetensors 0.4.2 scikit-image 0.20.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 sentence-transformers 2.6.1 sentencepiece 0.1.99
setuptools 68.0.0 shap 0.44.0 simplejson 3.17.6
six 1.16.0 découpeur 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 fichier audio 0.12.1
soupsieve 2.4 soxr 0.3.7 spacy 3.7.2
spacy-legacy 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.8
ssh-import-id 5.11 données de pile 0.2.0 stanio 0.5.0
statsmodels 0.14.0 sympy 1.11.1 Imbroglio-en-Unicode 0.2.0
ténacité 8.2.2 tensorboard 2.16.2 Serveur de données TensorBoard 0.7.2
tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2 tensorflow 2.16.1
tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.36.0 termcolor 2.4.0
terminé 0.17.1 thinc 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 générateurs de jetons 0.15.0 lampe de poche 2.2.2+cu121
torcheval 0.0.7 torchvision 0.17.2+cu121 tornado 6.3.2
tqdm 4.65.0 traitlets 5.7.1 transformateurs 4.39.2
triton 2.2.0 typeguard 2.13.3 typer 0.9.4
typing-inspect 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 mises à jour automatiques 0.1 urllib3 1.26.16
virtualenv 20.21.0 visions 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 belette 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 outil 2.2.3
roue 0.38.4 widgetsnbextension 4.0.5 nuage de mots 1.9.3
enveloppé 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 zipp 3.11.0
zstd 1.5.5.1

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 15.2.

bibliothèques Java et Scala (cluster Scala 2.12)

Outre les bibliothèques Java et Scala dans Databricks Runtime 15.2, Databricks Runtime 15.2 ML contient les jaRs suivants :

Clusters CPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on