Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Informationen zum Enddatum des Supports finden Sie unter "Ende des Supports" und "Ende des Lebenszyklus". Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.
Databricks Runtime 15.0 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 15.0 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.
Neue Features und Verbesserungen
Databricks Runtime 15.0 ML basiert auf Databricks Runtime 15.0. Informationen zu den Neuerungen in Databricks Runtime 15.0, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 15.0 (EoS).
Bahnbrechende Änderungen
Legacy Databricks CLI ist nicht mehr standardmäßig installiert
In Databricks Runtime 14.3 LTS ML und darunter, da die vorinstallierte Version von MLflow die ältere Databricks CLI (databricks/databricks-cli) erforderte, wurde sie automatisch in $PATH installiert. Databricks Runtime 15.0 ML enthält MLflow Version 2.10.2, was keine Legacy-CLI erfordert.
Ab Databricks Runtime 15.0 ML wird die ältere Databricks CLI nicht mehr automatisch in $PATH installiert. Dies ist eine bahnbrechende Änderung für Benutzer, die von der Legacy-CLI abhängig sind, die in der Laufzeit installiert wird. Befehle wie %sh databricks ... funktionieren in Databricks Runtime 15.0 ML und höher nicht mehr.
Um die Legacy-Databricks CLI aus einem Notebook weiterhin zu verwenden, müssen Sie sie als Cluster- oder Notebookbibliothek installieren. Die neue Databricks CLI (databricks/cli) ist über das Webterminal verfügbar. Weitere Informationen finden Sie unter Verwenden des Webterminals und der Databricks CLI.
MLeap ist ab Databricks Runtime 15.0 ML nicht mehr verfügbar
MLeap ist in Databricks Runtime 15.0 ML und höher nicht mehr verfügbar. Um Modelle für die Bereitstellung in JVM-basierten Frameworks zu packen, empfiehlt Databricks die Verwendung des ONNX-Formats.
Die Nutzung von Horovod und HorovodRunner wird eingestellt.
Horovod und HorovodRunner sind jetzt veraltet. Für verteiltes Deep Learning empfiehlt Databricks die Verwendung von TorchDistributor für verteiltes Training mit PyTorch oder der tf.distribute.Strategy-API für verteiltes Training mit TensorFlow. Horovod und HorovodRunner sind in Databricks Runtime 15.0 ML vorinstalliert, werden aber in der nächsten wichtigen Databricks Runtime ML-Version entfernt.
Hinweis
horovod.spark unterstützt keine Pyarrow-Versionen 11.0 und höher (siehe relevante GitHub Problem). Databricks Runtime 15.0 ML enthält die Pyarrow-Version 14.0.1. Um horovod.spark mit Databricks Runtime 15.0 ML oder höher zu verwenden, müssen Sie pyarrow manuell installieren, wobei Sie eine Version unter 11.0 angeben.
Systemumgebung
Die Systemumgebung in Databricks Runtime 15.0 ML unterscheidet sich wie folgt von Databricks Runtime 15.0:
- Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Bibliotheken
In den folgenden Abschnitten werden die in Databricks Runtime 15.0 ML enthaltenen Bibliotheken aufgeführt, die sich von denen unterscheiden, die in Databricks Runtime 15.0 enthalten sind.
Inhalt dieses Abschnitts:
- Bibliotheken der obersten Ebene
- Python-Bibliotheken
- R-Bibliotheken
- Java- und Scala-Bibliotheken (Scala 2.12 Cluster)
Bibliotheken der obersten Ebene
Databricks Runtime 15.0 ML enthält die folgenden Bibliotheken der obersten Ebene:
- GraphFrames
- MLflow
- PyTorch
- Spark-Tensorflow-Verbinder
- TensorFlow
- TensorBoard
- scikit-learn
- (Veraltet) Horovod und HorovodRunner
Python-Bibliotheken
Databricks Runtime 15.0 ML verwendet virtualenv für Python Paketverwaltung und umfasst viele beliebte ML-Pakete.
Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 15.0 ML auch die folgenden Pakete:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-15.0.txt herunter, und führen Sie pip install -r requirements-15.0.txt aus. Dieser Befehl installiert alle open source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-store, oder die Databricks-Verzweigung von hyperopt.
Python-Bibliotheken auf CPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Beschleunigen | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| Attrs | 22.1.0 | Audio lesen | 3.0.1 | Azure Core | 1.30.1 |
| Azure-Cosmos | 4.3.1 | Azure Storage Blob | 12.19.0 | Azure-Speicher-Datei-Datensee | 12.14.0 |
| backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| schwarz | 23.3.0 | Bleichmittel | 4.1.0 | gesegnet | 1.20.0 |
| Blinker | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| Botocore | 1.34.39 | CacheWerkzeuge | 5.3.3 | Katalog | 2.0.10 |
| Kategorie-Kodierer | 2.6.3 | Zertifikat | 2023.7.22 | cffi | 1.15.1 |
| Chardet | 4.0.0 | Charset-Normalizer | 2.0.4 | klicken | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| farbenfroh | 0.5.6 | Kommunikation | 0.1.2 | Konfekt | 0.1.4 |
| configparser | 5.2.0 | Contourpy | 1.0.5 | Kryptografie | 41.0.3 |
| Fahrradfahrer | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| Dazit | 1.8.1 | databricks-automl-runtime | 0.2.21 | Databricks Feature Engineering | 0.3.0 |
| Databricks-SDK | 0.20.0 | dataclasses-json | 0.6.4 | Datensätze | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| Dekorateur | 5.1.1 | DeepSpeed | 0.13.1 | defusedxml | 0.7.1 |
| Dill | 0.3.6 | Festplatten-Cache | 5.6.3 | Distlib | 0.3.8 |
| dm-Baum | 0.1.8 | Einstiegspunkte | 0,4 | auswerten | 0.4.1 |
| ausführen | 0.8.3 | Übersicht der Facetten | 1.1.1 | Farama-Benachrichtigungen | 0.0.4 |
| fastjsonschema | 2.19.1 | fasttext | 0.9.2 | Dateisperrung | 3.9.0 |
| Flask | 2.2.5 | FlatBuffers | 26.05.23 | fonttools | 4.25.0 |
| frozenlist | 1.3.3 | fsspec | 2023.5.0 | Zukunft | 0.18.3 |
| gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.17.1 | Google-Authentifizierung | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| Google Cloud Core | 2.4.1 | Google Cloud-Speicher | 2.11.0 | google-crc32c | 1.5.0 |
| Google-Pasta | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
| gpustat | 1.1.1 | Greenlet | 2.0.1 | GRPCIO | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| Gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | Ferien | 0,38 | Horovod | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub | 0.20.2 | IDNA | 3.4 |
| ImageHash | 4.3.1 | imageio | 2.31.1 | Ungleichgewichte lernen | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | es ist gefährlich | 2.0.1 |
| jax-jumpy | 1.0.0 | Jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1,33 | jsonpointer | 2.4 |
| jsonschema | 4.17.3 | Jupyter-Server | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
| Keras | 2.15.0 | Schlüsselring | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.3 | langchain-Gemeinschaft | 0.0.20 | langchain-core | 0.1.23 |
| langcodes | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | Lazy Loader | 0.2 |
| libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Mako | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.1 | Marshmallow | 3.21.1 | matplotlib | 3.7.2 |
| matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
| ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
| mpmath | 1.3.0 | msgpack | 1.0.8 | Multidict | 6.0.2 |
| multimethod | 1.11.2 | Multiprozessor | 0.70.14 | Murmurhash | 1.0.10 |
| mypy-Erweiterungen | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | Ninja | 1.11.1.1 | Natural Language Toolkit (nltk) | 3.8.1 |
| Notebook | 6.5.4 | Notebook-Shim | 0.2.2 | numba | 0.57.1 |
| numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| openai | 1.9.0 | opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 |
| opt-einsum | 3.3.0 | Verpackung | 23.2 | Pandas | 2.0.3 |
| Pandocfilter | 1.5.0 | paramiko | 2.9.2 | Parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | Petastorm | 0.12.1 |
| pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
| Kissen | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | pmdarima | 2.0.4 | Hündchen | 1.8.1 |
| vorgehäckselt | 3.0.9 | prometheus-client | 0.14.1 | Prompt-Toolkit | 3.0.36 |
| prophet | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | Py-Spy | 0.3.14 | Pyarrow | 14.0.1 |
| Pyarrow-Hotfix | 0,6 | Pyasn1 | 0.4.8 | Pyasn1-Module | 0.2.8 |
| pybind11 | 2.11.1 | pyccolo | 0.0.52 | Pycparser | 2.21 |
| Pydantisch | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| Pyodbc | 4.0.38 | Pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | Python-dateutil | 2.8.2 | Python-Editor | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | Pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6,0 | pyzmq | 23.2.0 | Strahl | 2.9.3 |
| Regex | 2022.7.9 | requests | 2.31.0 | requests-oauthlib | 1.3.1 |
| Antworten | 0.13.3 | reich | 13.7.1 | rsa | 4,9 |
| s3transfer | 0.10.0 | Safetensors | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | SciPy | 1.11.1 | Seegeboren | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | Satztransformatoren | 2.2.2 |
| Satzstück | 0.1.99 | setuptools | 68.0.0 | Schattierung | 0.44.0 |
| simplejson | 3.17.6 | Sechs | 1.16.0 | slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| Sounddatei | 0.12.1 | Sieb für Suppe | 2.4 | Soxr | 0.3.7 |
| Geräumig | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| Spark-Tensorflow-Distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5.11 | Stapeldaten | 0.2.0 |
| stanio | 0.3.0 | StatistikModelle | 0.14.0 | sympy | 1.11.1 |
| tangled-up-in-unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 | TensorBoard | 2.15.1 |
| tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile (Tensorboard-Plugin-Profil) | 2.15.0 | TensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.15.0 | TensorFlow-Estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| Termcolor | 2.4.0 | terminado | 0.17.1 | thinc | 8.2.3 |
| Threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizers | 0.15.0 |
| Fackel | 2.1.2+CPU | torcheval | 0.0.7 | torchvision | 0.16.2+cpu |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
| Transformatoren | 4.36.2 | Typwächter | 2.13.3 | Typer | 0.9.0 |
| Eingabeprüfung | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
| ujson | 5.4.0 | unbeaufsichtigte Aktualisierungen | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Visionen | 0.7.5 | wadllib | 1.3.6 |
| Wasabi | 1.1.2 | wcwidth (Breite eines Zeichens) | 0.2.5 | Wiesel | 0.3.4 |
| Webkodierungen | 0.5.1 | WebSocket-Client | 0.58.0 | Werkzeug | 2.2.3 |
| Rad | 0.38.4 | widgetsnbextension | 4.0.5 | Wortwolke | 1.9.3 |
| Eingehüllt | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-profiling | 4.5.1 | zipp | 3.11.0 |
Python Bibliotheken auf GPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Beschleunigen | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| Attrs | 22.1.0 | Audio lesen | 3.0.1 | Azure Core | 1.30.1 |
| Azure-Cosmos | 4.3.1 | Azure Storage Blob | 12.19.0 | Azure-Speicher-Datei-Datensee | 12.14.0 |
| backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| schwarz | 23.3.0 | Bleichmittel | 4.1.0 | gesegnet | 1.20.0 |
| Blinker | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| Botocore | 1.34.39 | CacheWerkzeuge | 5.3.3 | Katalog | 2.0.10 |
| Kategorie-Kodierer | 2.6.3 | Zertifikat | 2023.7.22 | cffi | 1.15.1 |
| Chardet | 4.0.0 | Charset-Normalizer | 2.0.4 | klicken | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| farbenfroh | 0.5.6 | Kommunikation | 0.1.2 | Konfekt | 0.1.4 |
| configparser | 5.2.0 | Contourpy | 1.0.5 | Kryptografie | 41.0.3 |
| Fahrradfahrer | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| Dazit | 1.8.1 | databricks-automl-runtime | 0.2.21 | Databricks Feature Engineering | 0.3.0 |
| Databricks-SDK | 0.20.0 | dataclasses-json | 0.6.4 | Datensätze | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| Dekorateur | 5.1.1 | DeepSpeed | 0.13.1 | defusedxml | 0.7.1 |
| Dill | 0.3.6 | Festplatten-Cache | 5.6.3 | Distlib | 0.3.8 |
| dm-Baum | 0.1.8 | einops | 0.7.0 | Einstiegspunkte | 0,4 |
| auswerten | 0.4.1 | ausführen | 0.8.3 | Übersicht der Facetten | 1.1.1 |
| Farama-Benachrichtigungen | 0.0.4 | fastjsonschema | 2.19.1 | fasttext | 0.9.2 |
| Dateisperrung | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
| FlatBuffers | 26.05.23 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
| fsspec | 2023.5.0 | Zukunft | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
| Google-Authentifizierung | 2.21.0 | google-auth-oauthlib | 1.0.0 | Google Cloud Core | 2.4.1 |
| Google Cloud-Speicher | 2.11.0 | google-crc32c | 1.5.0 | Google-Pasta | 0.2.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
| Greenlet | 2.0.1 | GRPCIO | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | Gymnasium | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| Ferien | 0,38 | Horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub | 0.20.2 | IDNA | 3.4 | ImageHash | 4.3.1 |
| imageio | 2.31.1 | Ungleichgewichte lernen | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
| isodate | 0.6.1 | es ist gefährlich | 2.0.1 | jax-jumpy | 1.0.0 |
| Jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch | 1,33 | jsonpointer | 2.4 | jsonschema | 4.17.3 |
| Jupyter-Server | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | Keras | 2.15.0 |
| Schlüsselring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
| langchain-Gemeinschaft | 0.0.20 | langchain-core | 0.1.23 | langcodes | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | Lazy Loader | 0.2 | libclang | 16.0.6 |
| librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| Marshmallow | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
| msgpack | 1.0.8 | Multidict | 6.0.2 | multimethod | 1.11.2 |
| Multiprozessor | 0.70.14 | Murmurhash | 1.0.10 | mypy-Erweiterungen | 0.4.3 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| Ninja | 1.11.1.1 | Natural Language Toolkit (nltk) | 3.8.1 | Notebook | 6.5.4 |
| Notebook-Shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
| opencensus | 0.11.4 | opencensus-Kontext | 0.1.3 | opt-einsum | 3.3.0 |
| Verpackung | 23.2 | Pandas | 2.0.3 | Pandocfilter | 1.5.0 |
| paramiko | 2.9.2 | Parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | Petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | Kissen | 9.4.0 |
| pip | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| pmdarima | 2.0.4 | Hündchen | 1.8.1 | vorgehäckselt | 3.0.9 |
| Prompt-Toolkit | 3.0.36 | prophet | 1.1.5 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | Py-Spy | 0.3.14 |
| Pyarrow | 14.0.1 | Pyarrow-Hotfix | 0,6 | Pyasn1 | 0.4.8 |
| Pyasn1-Module | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
| Pycparser | 2.21 | Pydantisch | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | Pyodbc | 4.0.38 | Pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | Python-dateutil | 2.8.2 |
| Python-Editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | Pytz | 2022.7 |
| PyWavelets | 1.4.1 | PyYAML | 6,0 | pyzmq | 23.2.0 |
| Strahl | 2.9.3 | Regex | 2022.7.9 | requests | 2.31.0 |
| requests-oauthlib | 1.3.1 | Antworten | 0.13.3 | reich | 13.7.1 |
| rsa | 4,9 | s3transfer | 0.10.0 | Safetensors | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn | 1.3.0 | SciPy | 1.11.1 |
| Seegeboren | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| Satztransformatoren | 2.2.2 | Satzstück | 0.1.99 | setuptools | 68.0.0 |
| Schattierung | 0.44.0 | simplejson | 3.17.6 | Sechs | 1.16.0 |
| slicer | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.2.0 | Sounddatei | 0.12.1 | Sieb für Suppe | 2.4 |
| Soxr | 0.3.7 | Geräumig | 3.7.2 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | Spark-Tensorflow-Distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5.11 |
| Stapeldaten | 0.2.0 | stanio | 0.3.0 | StatistikModelle | 0.14.0 |
| sympy | 1.11.1 | tangled-up-in-unicode | 0.2.0 | Hartnäckigkeit | 8.2.2 |
| TensorBoard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile (Tensorboard-Plugin-Profil) | 2.15.0 |
| TensorboardX | 2.6.2.2 | TensorFlow | 2.15.0 | TensorFlow-Estimator | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.36.0 | Termcolor | 2.4.0 | terminado | 0.17.1 |
| thinc | 8.2.3 | Threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
| tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| tokenizers | 0.15.0 | Fackel | 2.1.2+cu121 | torcheval | 0.0.7 |
| torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
| traitlets | 5.7.1 | Transformatoren | 4.36.2 | Triton | 2.1.0 |
| Typwächter | 2.13.3 | Typer | 0.9.0 | Eingabeprüfung | 0.9.0 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| unbeaufsichtigte Aktualisierungen | 0,1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| Visionen | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.2 |
| wcwidth (Breite eines Zeichens) | 0.2.5 | Wiesel | 0.3.4 | Webkodierungen | 0.5.1 |
| WebSocket-Client | 0.58.0 | Werkzeug | 2.2.3 | Rad | 0.38.4 |
| widgetsnbextension | 4.0.5 | Wortwolke | 1.9.3 | Eingehüllt | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
| ydata-profiling | 4.5.1 | zipp | 3.11.0 |
R-Bibliotheken
Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 15.0.
Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 15.0 enthält Databricks Runtime 15.0 ML die folgenden JARs:
Rechencluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |