Databricks Runtime 16.1 für Machine Learning (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Informationen zum Enddatum des Supports finden Sie unter "Ende des Supports" und "Ende des Lebenszyklus". Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.

Databricks Runtime 16.1 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 16.1 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt außerdem das verteilte Deep Learning-Training mithilfe von TorchDistributor, DeepSpeed und Ray.

Neue Features und Verbesserungen

Databricks Runtime 16.1 ML basiert auf Databricks Runtime 16.1. Informationen zu den Neuerungen in Databricks Runtime 16.1, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 16.1 (EoS).

Systemumgebung

Die Systemumgebung in Databricks Runtime 16.1 ML unterscheidet sich von Databricks Runtime 16.1 wie folgt.

  • Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Bibliotheken

In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 16.1 ML enthalten sind, die sich von denen unterscheiden, die in Databricks Runtime 16.1 enthalten sind.

Inhalt dieses Abschnitts:

Bibliotheken der obersten Ebene

Databricks Runtime 16.1 ML enthält die folgenden Bibliotheken der obersten Ebene:

Python-Bibliotheken

Databricks Runtime 16.1 ML verwendet virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den in den folgenden Abschnitten angegebenen Paketen enthält Databricks Runtime 16.1 ML auch die folgenden Pakete:

  • hyperopt 0.2.9+db5
  • automl 1.29.0

Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-16.1.txt herunter, und führen Sie pip install -r requirements-16.1.txt aus. Dieser Befehl installiert alle open source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-engineering, oder die Databricks-Verzweigung von hyperopt.

Python-Bibliotheken auf CPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 beschleunigen 1.1.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 Alambik 1.13.3
annotierte Typen 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Pfeil 1.2.3
Astor 0.8.1 asttokens 2.0.5 Astunparse 1.6.3
async-lru 2.0.4 Attrs 23.1.0 Audio lesen 3.0.1
Automatischer Befehl 2.2.2 Azure Core 1.31.0 Azure-Cosmos 4.3.1
Azure-Identity 1.18.0 Azure-Speicher-Blob 12.23.1 Azure-Speicher-Datei-Datensee 12.17.0
Babel 2.11.0 Zurückziehen 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 schwarz 24.4.2
Bleichmittel 4.1.0 Blinker 1.7.0 blis 0.7.11
Boto3 1.34.69 Botocore 1.34.69 Brotli 1.0.9
CacheWerkzeuge 5.3.3 Katalog 2.0.10 Kategorie-Kodierer 2.6.3
Zertifizieren 2024.6.2 CFFI 1.16.0 Chardet 4.0.0
Charset-Normalizer 2.0.4 Schaltkreisbrecher 2.0.0 klicken 8.1.7
cloudpathlib 0.19.0 Wolkengurke 2.2.1 cmdstanpy 1.2.4
bunt 0.5.6 Colorlog 6.8.2 Kommunikation 0.2.1
Komponist 0.27.0 Konfekt 0.1.5 configparser 5.2.0
Contourpy 1.2.0 coolname 2.2.0 Kryptographie 42.0.5
Fahrradfahrer 0.11.0 Cymem 2.0.10 Cython 3.0.11
Dazit 1.8.1 databricks-automl-runtime 0.2.21 Databricks Feature Engineering 0.7.0
Databricks-SDK 0.30.0 Datensätze 3.1.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 Dekorateur 5.1.1
Deepspeed 0.16.0 defusedxml 0.7.1 Als veraltet markiert 1.2.14
Dill 0.3.8 Distlib 0.3.8 dm-Baum 0.1.8
Docstring zu Markdown 0.11 Einstiegspunkte 0,4 auswerten 0.4.3
ausführen 0.8.3 Übersicht der Facetten 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.21.1 Fasttext-Rad 0.9.2 Dateisperrung 3.13.1
Flasche 2.2.5 FlatBuffers 24.3.25 fonttools 4.51.0
fqdn 1.5.1 frozenlist 1.4.0 fsspec 2023.5.0
Zukunft 0.18.3 gast 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 Google-Authentifizierung 2.21.0
google-auth-oauthlib 1.0.0 Google-Cloud-Core 2.4.1 Google Cloud-Speicher 2.10.0
google-crc32c 1.6.0 Google-Pasta 0.2.0 google-resumable-media 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
Greenlet 3.0.1 GRPCIO 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 Gymnasium 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
Ferien 0.54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.28.0 huggingface-hub 0.24.5
idna 3.7 ImageHash 4.3.1 imageio 2.33.1
Ungleichgewichte lernen 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
beugen 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodate 0.6.1 Isodauer 20.11.0 es ist gefährlich 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 Jedi 0.19.1 Jinja2 3.1.4
Jiter 0.8.0 jmespath 1.0.1 joblib 1.4.2
joblibspark 0.5.1 json5 0.9.6 jsonpatch 1.33
JsonPointer 3.0.0 jsonschema 4.19.2 jsonschema-Spezifikationen 2023.7.1
Jupyter-Ereignisse 0.10.0 jupyter-lsp 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_server 2.14.1 jupyter_server_terminals 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
Keras 3.6.0 kiwisolver 1.4.4 langchain 0.3.8
langchain-core 0.2.41 langchain-text-splitters 0.2.4 Sprachcodes 3.4.1
langsmith 0.1.129 Sprachdaten 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 Lazy-Loader 0,4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
Blitz-Dienstprogramme 0.11.9 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
verstimmen 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
more-itertools 10.3.0 mosaikml-cli 0.6.41 Mosaikml-Streaming 0.8.0
mpmath 1.3.0 msal 1.31.1 msal-extensions 1.2.0
msgpack 1.1.0 Multidict 6.0.4 Multimethod 1.12
Multiprozessor 0.70.16 Murmurhash 1.0.11 mypy 1.10.0
mypy-Erweiterungen 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
nodeenv 1.9.1 Notizbuch 7.0.8 Notebook-Shim 0.2.3
numba 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
oauthlib 3.2.0 Oci 2.139.0 openai 1.55.1
opencensus 0.11.4 opencensus-Kontext 0.1.3 opentelemetry-api 1.28.2
opentelemetry-sdk 1.28.2 opentelemetry-semantic-conventions 0,49b2 opt_einsum 3.4.0
Optree 0.12.1 optuna 3.6.1 optuna-integration 3.6.0
Orjson 3.10.12 Überschreibt 7.4.0 Verpackung 24.1
Pandas 1.5.3 Pandocfilter 1.5.0 paramiko 3.4.0
Parso 0.8.3 Pfadangabe 0.10.3 Sündenbock 0.5.6
pexpect 4.8.0 phik 0.12.4 Kissen 10.3.0
pip 24.2 platformdirs 3.10.0 Handlung 5.22.0
plugin-fähig 1.0.0 pmdarima 2.0.4 Hündchen 1.8.2
portalocker 2.10.1 vorgehäckselt 3.0.9 prometheus-client 0.14.1
Prompt-Toolkit 3.0.43 Prophet 1.1.5 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
Py-Spy 0.3.14 Pyarrow 15.0.2 Pyarrow-Hotfix 0,6
Pyasn1 0.4.8 Pyasn1-Module 0.2.8 Pybind11 2.13.6
Pyccolo 0.0.65 Pycparser 2.21 Pydantisch 2.8.2
pydantic_core 2.20.1 Pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
Pyright 1.1.294 pytesseract 0.3.10 Python-dateutil 2.9.0.post0
Python-Editor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
Python-LSP-Server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
Pytorch-Ranger 0.1.1 Pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 Fragebogen 1.10.0
Strahl 2.35.0 referenzierung 0.30.2 Regex 2023.10.3
Anforderungen 2.32.2 requests-oauthlib 1.3.1 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 reich 13.3.5 Seil 1.12.0
rpds-py 0.10.6 rsa 4,9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 Safetensors 0.4.4
scikit-image 0.23.2 scikit-lernen 1.4.2 SciPy 1.13.1
Seegeboren 0.13.2 Send2Trash 1.8.2 Satztransformatoren 3.3.1
Satzstück 0.2.0 setuptools 74.0.0 Schattierung 0.46.0
Shellingham 1.5.4 simplejson 3.17.6 Sechs 1.16.0
Schneidemaschine 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 Sounddatei 0.12.1 Sieb für Suppe 2,5
Soxr 0.5.0.post1 Geräumig 3.7.5 Spacy-Legacy 3.0.12
Spacy-Logger 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 Stapeldaten 0.2.0
stanio 0.5.1 StatistikModelle 0.14.2 sympy 1.13.1
tabellarisieren 0.9.0 Durcheinander-in-Unicode 0.2.0 Hartnäckigkeit 8.2.2
TensorBoard 2.18.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.18.0
TensorboardX 2.6.2.2 TensorFlow 2.18.0 TensorFlow-Estimator 2.15.0
Termcolor 2.4.0 beendet 0.17.1 Textbezogen 0.87.1
tf_keras 2.18.0 thinc 8.2.5 Threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 Tokenizer 0.20.0 tomli 2.0.1
Fackel 2.5.0+cpu Torch-Optimizer 0.3.0 torcheval 0.0.7
Torchmetrics 1.4.0.post0 Fackelvision 0.20.0+cpu Tornado 6.4.1
tqdm 4.66.4 Traitlets 5.14.3 Transformatoren 4.46.3
Typwächter 4.3.0 Typer 0.12.5 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
Typanforderungen 2.31.0.0 types-setuptools 68.0.0.0 Typen-6 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 unbeaufsichtigte Aktualisierungen 0,1 URI-Vorlage 1.3.0
urllib3 1.26.16 Validatoren 0.34.0 virtualenv 20.26.2
Visionen 0.7.5 Wadllib 1.3.6 Wasabi 1.1.3
wcwidth 0.2.5 Wiesel 0.4.1 Webcolors 24.8.0
Webkodierungen 0.5.1 WebSocket-Client 1.8.0 Websockets 11.0.3
Werkzeug 3.0.3 Was ist neu im Patch 1.0.2 Rad 0.43.0
Wortwolke 1.9.3 Eingehüllt 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.3 ydata-profiling 4.9.0 ZIPP 3.17.0
zstd 1.5.5.1

Python Bibliotheken auf GPU-Clustern

Hinweis

PyTorch verwendet die CUDA PyPI-Abhängigkeiten, um CUDA-Unterstützung anstelle der CUDA-Bibliotheksversionen bereitzustellen, die in Databricks Runtime 16.1 ML integriert sind.

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 beschleunigen 1.1.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 annotierte Typen 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 Pfeil 1.2.3 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-lru 2.0.4
Attrs 23.1.0 Audio lesen 3.0.1 Automatischer Befehl 2.2.2
Azure Core 1.31.0 Azure-Cosmos 4.3.1 Azure-Identity 1.18.0
Azure-Speicher-Blob 12.23.1 Azure-Speicher-Datei-Datensee 12.17.0 Babel 2.11.0
Zurückziehen 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 schwarz 24.4.2 Bleichmittel 4.1.0
Blinker 1.7.0 blis 0.7.11 Boto3 1.34.69
Botocore 1.34.69 Brotli 1.0.9 CacheWerkzeuge 5.3.3
Katalog 2.0.10 Kategorie-Kodierer 2.6.3 Zertifizieren 2024.6.2
CFFI 1.16.0 Chardet 4.0.0 Charset-Normalizer 2.0.4
Schaltkreisbrecher 2.0.0 klicken 8.1.7 cloudpathlib 0.19.0
Wolkengurke 2.2.1 cmdstanpy 1.2.4 bunt 0.5.6
Colorlog 6.8.2 Kommunikation 0.2.1 Komponist 0.27.0
Konfekt 0.1.5 configparser 5.2.0 Contourpy 1.2.0
coolname 2.2.0 Kryptographie 42.0.5 Fahrradfahrer 0.11.0
Cymem 2.0.10 Cython 3.0.11 Dazit 1.8.1
databricks-automl-runtime 0.2.21 Databricks Feature Engineering 0.7.0 Databricks-SDK 0.30.0
Datensätze 3.1.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 Dekorateur 5.1.1 Deepspeed 0.16.0
defusedxml 0.7.1 Als veraltet markiert 1.2.14 Dill 0.3.8
Distlib 0.3.8 dm-Baum 0.1.8 Docstring zu Markdown 0.11
einops 0.8.0 Einstiegspunkte 0,4 auswerten 0.4.3
ausführen 0.8.3 Übersicht der Facetten 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.21.1 Fasttext-Rad 0.9.2 Dateisperrung 3.13.1
flash_attn 2.7.0 Flasche 2.2.5 FlatBuffers 24.3.25
fonttools 4.51.0 fqdn 1.5.1 frozenlist 1.4.0
fsspec 2023.5.0 Zukunft 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google-Authentifizierung 2.21.0 google-auth-oauthlib 1.0.0 Google-Cloud-Core 2.4.1
Google Cloud-Speicher 2.10.0 google-crc32c 1.6.0 Google-Pasta 0.2.0
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 Greenlet 3.0.1 GRPCIO 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
Gymnasium 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 Ferien 0.54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
huggingface-hub 0.24.5 idna 3.7 ImageHash 4.3.1
imageio 2.33.1 Ungleichgewichte lernen 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 beugen 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Isodate 0.6.1 Isodauer 20.11.0
es ist gefährlich 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 Jiter 0.8.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 JsonPointer 3.0.0 jsonschema 4.19.2
jsonschema-Spezifikationen 2023.7.1 Jupyter-Ereignisse 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 Keras 3.6.0 kiwisolver 1.4.4
langchain 0.3.8 langchain-core 0.2.41 langchain-text-splitters 0.2.4
Sprachcodes 3.4.1 langsmith 0.1.129 Sprachdaten 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
Lazy-Loader 0,4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 Blitz-Dienstprogramme 0.11.9 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 verstimmen 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mosaikml-cli 0.6.41
Mosaikml-Streaming 0.8.0 mpmath 1.3.0 msal 1.31.1
msal-extensions 1.2.0 msgpack 1.1.0 Multidict 6.0.4
Multimethod 1.12 Multiprozessor 0.70.16 Murmurhash 1.0.11
mypy 1.10.0 mypy-Erweiterungen 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 Ninja 1.11.1.1
Natural Language Toolkit (nltk) 3.8.1 nodeenv 1.9.1 Notizbuch 7.0.8
Notebook-Shim 0.2.3 numba 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3
nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127
nvidia-nvtx-cu12 12.4.127 oauthlib 3.2.0 Oci 2.139.0
openai 1.55.1 opencensus 0.11.4 opencensus-Kontext 0.1.3
opentelemetry-api 1.28.2 opentelemetry-sdk 1.28.2 opentelemetry-semantic-conventions 0,49b2
opt_einsum 3.4.0 Optree 0.12.1 optuna 3.6.1
optuna-integration 3.6.0 Orjson 3.10.12 Überschreibt 7.4.0
Verpackung 24.1 Pandas 1.5.3 Pandocfilter 1.5.0
paramiko 3.4.0 Parso 0.8.3 Pfadangabe 0.10.3
Sündenbock 0.5.6 pexpect 4.8.0 phik 0.12.4
Kissen 10.3.0 pip 24.2 platformdirs 3.10.0
Handlung 5.22.0 plugin-fähig 1.0.0 pmdarima 2.0.4
Hündchen 1.8.2 portalocker 2.10.1 vorgehäckselt 3.0.9
prometheus-client 0.14.1 Prompt-Toolkit 3.0.43 Prophet 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 Py-Spy 0.3.14 Pyarrow 15.0.2
Pyarrow-Hotfix 0,6 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
Pybind11 2.13.6 Pyccolo 0.0.65 Pycparser 2.21
Pydantisch 2.8.2 pydantic_core 2.20.1 Pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing 3.0.9 Pyright 1.1.294 pytesseract 0.3.10
Python-dateutil 2.9.0.post0 Python-Editor 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 Python-LSP-Server 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 Pytorch-Ranger 0.1.1 Pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
Fragebogen 1.10.0 Strahl 2.35.0 referenzierung 0.30.2
Regex 2023.10.3 Anforderungen 2.32.2 requests-oauthlib 1.3.1
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 reich 13.3.5
Seil 1.12.0 rpds-py 0.10.6 rsa 4,9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
Safetensors 0.4.4 scikit-image 0.23.2 scikit-lernen 1.4.2
SciPy 1.13.1 Seegeboren 0.13.2 Send2Trash 1.8.2
Satztransformatoren 3.3.1 Satzstück 0.2.0 setuptools 74.0.0
Schattierung 0.46.0 Shellingham 1.5.4 simplejson 3.17.6
Sechs 1.16.0 Schneidemaschine 0.0.8 smart-open 5.2.1
smmap 5.0.0 sniffio 1.3.0 Sounddatei 0.12.1
Sieb für Suppe 2,5 Soxr 0.5.0.post1 Geräumig 3.7.5
Spacy-Legacy 3.0.12 Spacy-Logger 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
Stapeldaten 0.2.0 stanio 0.5.1 StatistikModelle 0.14.2
sympy 1.13.1 tabellarisieren 0.9.0 Durcheinander-in-Unicode 0.2.0
Hartnäckigkeit 8.2.2 TensorBoard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.18.0 TensorboardX 2.6.2.2 TensorFlow 2.18.0
TensorFlow-Estimator 2.15.0 Termcolor 2.4.0 beendet 0.17.1
Textbezogen 0.87.1 tf_keras 2.17.0 thinc 8.2.5
Threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 Tokenizer 0.20.0
tomli 2.0.1 Fackel 2.5.0+cu124 Torch-Optimizer 0.3.0
torcheval 0.0.7 Torchmetrics 1.4.0.post0 Fackelvision 0.20.0+cu124
Tornado 6.4.1 tqdm 4.66.4 Traitlets 5.14.3
Transformatoren 4.46.3 Triton 3.1.0 Typwächter 4.3.0
Typer 0.14.0 types-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 Typanforderungen 2.31.0.0
types-setuptools 68.0.0.0 Typen-6 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson 5.10.0
unbeaufsichtigte Aktualisierungen 0,1 URI-Vorlage 1.3.0 urllib3 1.26.16
Validatoren 0.34.0 virtualenv 20.26.2 Visionen 0.7.5
Wadllib 1.3.6 Wasabi 1.1.3 wcwidth 0.2.5
Wiesel 0.4.1 Webcolors 24.8.0 Webkodierungen 0.5.1
WebSocket-Client 1.8.0 Websockets 11.0.3 Werkzeug 3.0.3
Was ist neu im Patch 1.0.2 Rad 0.43.0 Wortwolke 1.9.3
Eingehüllt 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.3
ydata-profiling 4.9.0 ZIPP 3.17.0 zstd 1.5.5.1

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 16.1.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 16.1 enthält Databricks Runtime 16.1 ML die folgenden JARs:

Rechencluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on