Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Informationen zum Enddatum des Supports finden Sie unter "Ende des Supports" und "Ende des Lebenszyklus". Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.
Databricks Runtime 16.3 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 16.3 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt außerdem das verteilte Deep Learning-Training mithilfe von TorchDistributor, DeepSpeed und Ray.
Neue Features und Verbesserungen
Databricks Runtime 16.3 ML basiert auf Databricks Runtime 16.3. Informationen zu den Neuerungen in Databricks Runtime 16.3, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 16.3 (EoS).
Andere Änderungen
TensorFlow 2.17.x kann keine CuDNN-Bibliothek laden
Es ist ein bekanntes Problem in Databricks Runtime 16.3 ML, dass TensorFlow 2.17.x (Standardversion) aufgrund eines Fehlers beim Laden einer CuDNN-Bibliothek nicht auf GPU-Geräte zugreifen kann. Aktualisieren Sie TensorFlow auf Version 2.18.x oder höher, um dieses Problem zu beheben.
Systemumgebung
Die Systemumgebung in Databricks Runtime 16.3 ML unterscheidet sich von Databricks Runtime 16.3 wie folgt.
- Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotheken
In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 16.3 ML enthalten sind, die sich von denen unterscheiden, die in Databricks Runtime 16.3 enthalten sind.
Inhalt dieses Abschnitts:
- Bibliotheken der obersten Ebene
- Python-Bibliotheken
- R-Bibliotheken
- Java- und Scala-Bibliotheken (Scala 2.12 Cluster)
Bibliotheken der obersten Ebene
Databricks Runtime 16.3 ML enthält die folgenden Bibliotheken der obersten Ebene:
- Dateien
- GraphFrames
- MLflow
- PyTorch
- Spark-Tensorflow-Verbinder
- Scikit-learn
- Streaming
- TensorFlow
- TensorBoard
- Transformatoren
Python-Bibliotheken
Databricks Runtime 16.3 ML verwendet virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.
Zusätzlich zu den in den folgenden Abschnitten angegebenen Paketen enthält Databricks Runtime 16.3 ML auch die folgenden Pakete:
- hyperopt 0.2.8+db1
- automl 1.30.0
Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-16.3.txt herunter, und führen Sie pip install -r requirements-16.3.txt aus. Mit diesem Befehl werden alle Open-Source-Bibliotheken installiert, die Databricks Runtime ML verwendet, aber keine Bibliotheken installiert, die von Databricks entwickelt wurden, z. B. databricks-automl oder die Databricks-Verzweigung von hyperopt.
Python-Bibliotheken auf CPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | beschleunigen | 1.4.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | Alambik | 1.14.0 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.3 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Pfeil | 1.2.3 |
| astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| autocommand | 2.2.2 | azure-core | 1.32.0 | Azure-Cosmos | 4.3.1 |
| Azure-Identity | 1.19.0 | azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 |
| Babel | 2.11.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | schwarz | 24.4.2 |
| Bleichmittel | 4.1.0 | Blinker | 1.7.0 | blis | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| CacheWerkzeuge | 5.3.3 | Katalog | 2.0.10 | category-encoders | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| Charset-Normalizer | 2.0.4 | circuitbreaker | 2.0.0 | click | 8.1.7 |
| cloudpathlib | 0.20.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| farbig | 0.5.6 | colorlog | 6.9.0 | comm | 0.2.1 |
| Komponist | 0.29.0 | confection | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | Kryptographie | 42.0.5 |
| Fahrradfahrer | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.8.0 |
| Databricks-SDK | 0.30.0 | Datensätze | 3.3.2 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | Dekorateur | 5.1.1 |
| deepspeed | 0.16.4 | defusedxml | 0.7.1 | Als veraltet markiert | 1.2.15 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-Baum | 0.1.8 |
| docstring-to-markdown | 0.11 | einops | 0.8.0 | Einstiegspunkte | 0,4 |
| auswerten | 0.4.3 | executing | 0.8.3 | Übersicht der Facetten | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 |
| Dateisperrung | 3.13.1 | Flask | 2.2.5 | FlatBuffers | 24.12.23 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | Zukunft | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| Google Cloud-Speicher | 2.10.0 | google-crc32c | 1.6.0 | Google-Pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| Gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | Ferien | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.29.1 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| es ist gefährlich | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-Spezifikationen | 2023.7.1 | Jupyter-Ereignisse | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.19 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| langcodes | 3.5.0 | langsmith | 0.1.133 | Sprachdaten | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0,4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | Multiprozessor | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-Erweiterungen | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | Notebook | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.64.0 |
| opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | Überschreibt | 7.4.0 | Verpackung | 24.1 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | Kissen | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | Hündchen | 1.8.2 |
| portalocker | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | prophet | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | Pyasn1 | 0.4.8 |
| Pyasn1-Module | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | Python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | Python-LSP-Server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | Fragebogen | 2.1.0 | ray | 2.37.0 |
| Referenzierung | 0.30.2 | regex | 2023.10.3 | requests | 2.32.2 |
| requests-oauthlib | 1.3.1 | Anforderungs-toolbelt | 1.0.0 | rfc3339-Prüfer | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | Seil | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| Seegeboren | 0.13.2 | Send2Trash | 1.8.2 | Satztransformatoren | 3.4.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | six | 1.16.0 |
| slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | Sounddatei | 0.12.1 | soupsieve | 2,5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | Stapeldaten | 0.2.0 |
| stanio | 0.5.1 | StatistikModelle | 0.14.2 | sympy | 1.13.1 |
| tabellarisieren | 0.9.0 | tangled-up-in-unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 |
| tensorboard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile (Tensorboard-Plugin-Profil) | 2.18.0 |
| tensorboardX | 2.6.2.2 | TensorFlow | 2.18.0 | tensorflow-estimator | 2.15.0 |
| termcolor | 2.5.0 | abgeschlossen | 0.17.1 | textual | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizers | 0.21.0 | tomli | 2.0.1 |
| Fackel | 2.6.0+prozessor | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| TorchMetrics | 1.6.0 | torchvision | 0.21.0+cpu | Tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatoren | 4.49.0 |
| typeguard | 4.4.1 | typer | 0.15.1 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| Typanforderungen | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unbeaufsichtigte Aktualisierungen | 0,1 | URI-Vorlage | 1.3.0 |
| urllib3 | 1.26.16 | Validatoren | 0.34.0 | virtualenv | 20.26.2 |
| Visionen | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.3 |
| wcwidth | 0.2.5 | weasel | 0.4.1 | webcolors | 24.11.1 |
| Webkodierungen | 0.5.1 | WebSocket-Client | 1.8.0 | websockets | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch | 1.0.2 | Rad | 0.43.0 |
| wordcloud | 1.9.4 | Eingehüllt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| yarl | 1.9.3 | ydata-profiling | 4.9.0 | zipp | 3.17.0 |
| zstd | 1.5.5.1 |
Python Bibliotheken auf GPU-Clustern
Hinweis
PyTorch verwendet die CUDA PyPI-Abhängigkeiten, um CUDA-Unterstützung anstelle der in Databricks Runtime 16.3 ML integrierten CUDA-Bibliotheksversionen bereitzustellen.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | beschleunigen | 1.4.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.3 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | Pfeil | 1.2.3 | astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | autocommand | 2.2.2 |
| azure-core | 1.32.0 | Azure-Cosmos | 4.3.1 | Azure-Identity | 1.19.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | Babel | 2.11.0 |
| backoff | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | schwarz | 24.4.2 | Bleichmittel | 4.1.0 |
| Blinker | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | CacheWerkzeuge | 5.3.3 |
| Katalog | 2.0.10 | category-encoders | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | Charset-Normalizer | 2.0.4 |
| circuitbreaker | 2.0.0 | click | 8.1.7 | cloudpathlib | 0.20.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 | farbig | 0.5.6 |
| colorlog | 6.9.0 | comm | 0.2.1 | Komponist | 0.29.0 |
| confection | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| coolname | 2.2.0 | Kryptographie | 42.0.5 | Fahrradfahrer | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.8.0 | Databricks-SDK | 0.30.0 |
| Datensätze | 3.3.2 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | Dekorateur | 5.1.1 | deepspeed | 0.16.4 |
| defusedxml | 0.7.1 | Als veraltet markiert | 1.2.15 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-Baum | 0.1.8 | docstring-to-markdown | 0.11 |
| einops | 0.8.0 | Einstiegspunkte | 0,4 | auswerten | 0.4.3 |
| executing | 0.8.3 | Übersicht der Facetten | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 | Dateisperrung | 3.13.1 |
| flash-attn | 2.7.4.post1 | Flask | 2.2.5 | FlatBuffers | 24.12.23 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | Zukunft | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| Google Cloud-Speicher | 2.10.0 | google-crc32c | 1.6.0 | Google-Pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| Gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | Ferien | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.29.0 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| es ist gefährlich | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-Spezifikationen | 2023.7.1 | Jupyter-Ereignisse | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.19 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| langcodes | 3.5.0 | langsmith | 0.1.133 | Sprachdaten | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0,4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | Multiprozessor | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-Erweiterungen | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | Notebook | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
| nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
| nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.64.0 |
| opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | Überschreibt | 7.4.0 | Verpackung | 24.1 |
| Pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | Kissen | 10.3.0 |
| pip | 24,2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | Hündchen | 1.8.2 |
| portalocker | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | prophet | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | Pyasn1 | 0.4.8 |
| Pyasn1-Module | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | Python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | Python-LSP-Server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | Fragebogen | 2.1.0 | ray | 2.37.0 |
| Referenzierung | 0.30.2 | regex | 2023.10.3 | requests | 2.32.2 |
| requests-oauthlib | 1.3.1 | Anforderungs-toolbelt | 1.0.0 | rfc3339-Prüfer | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | Seil | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| Seegeboren | 0.13.2 | Send2Trash | 1.8.2 | Satztransformatoren | 3.4.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | six | 1.16.0 |
| slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | Sounddatei | 0.12.1 | soupsieve | 2,5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | Stapeldaten | 0.2.0 |
| stanio | 0.5.1 | StatistikModelle | 0.14.2 | sympy | 1.13.1 |
| tabellarisieren | 0.9.0 | tangled-up-in-unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 |
| tensorboard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile (Tensorboard-Plugin-Profil) | 2.18.0 |
| tensorboardX | 2.6.2.2 | TensorFlow | 2.18.0 | tensorflow-estimator | 2.15.0 |
| termcolor | 2.5.0 | abgeschlossen | 0.17.1 | textual | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizers | 0.21.0 | tomli | 2.0.1 |
| Fackel | 2.6.0+cu124 | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| TorchMetrics | 1.6.0 | torchvision | 0.21.0+cu124 | Tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatoren | 4.49.0 |
| triton | 3.1.0 | typeguard | 4.4.1 | typer | 0.15.1 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | Typanforderungen | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| types-six | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | unbeaufsichtigte Aktualisierungen | 0,1 |
| URI-Vorlage | 1.3.0 | urllib3 | 1.26.16 | Validatoren | 0.34.0 |
| virtualenv | 20.26.2 | Visionen | 0.7.5 | wadllib | 1.3.6 |
| wasabi | 1.1.3 | wcwidth | 0.2.5 | weasel | 0.4.1 |
| webcolors | 24.11.1 | Webkodierungen | 0.5.1 | WebSocket-Client | 1.8.0 |
| websockets | 11.0.3 | Werkzeug | 3.0.3 | whatthepatch | 1.0.2 |
| Rad | 0.43.0 | wordcloud | 1.9.4 | Eingehüllt | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | yarl | 1.9.3 | ydata-profiling | 4.9.0 |
| zipp | 3.17.0 | zstd | 1.5.5.1 |
R-Bibliotheken
Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 16.3.
Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 16.3 enthält Databricks Runtime 16.3 ML die folgenden JARs:
Rechencluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |