Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Hinweis
Diese Databricks-Runtime-Version hat das Ende der Lebensdauer erreicht und ist nicht mehr verfügbar. Informationen zu End-of-Life-Daten finden Sie unter Ende des Supports und End-of-Life-Historie. Informationen über die Richtlinie und den Zeitplan für den Support von Databricks Runtime finden Sie unter Databricks Support-Laufzeiten.
Databricks Runtime 10.0 für Machine Learning bietet eine ready-to-go Umgebung für maschinelles Lernen und Data Science basierend auf Databricks Runtime 10.0 (EoL). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Zudem wird ein verteiltes Deep Learning-Training mit Horovod unterstützt.
Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.
Neue Features und Verbesserungen
Databricks Runtime 10.0 ML basiert auf Databricks Runtime 10.0. Informationen zu den Neuerungen in Databricks Runtime 10.0, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 10.0 (EoL).
Zeitreihenvorhersagen mit AutoML
AutoML unterstützt jetzt Zeitreihenvorhersagen. Weitere Informationen finden Sie in der Dokumentation zu AutoML.
Wichtige Änderungen an der Python-Umgebung für Databricks Runtime ML
Hinzugefügte Python-Pakete
- databricks-automl-runtime 0.1.0
- imbalanced-learn 0.8.0
- Transformatoren 4.9.2
Systemumgebung
Wir haben die enthaltene Version von RStudio Server Open Source auf v1.4 aktualisiert.
Die Systemumgebung der Databricks Runtime 10.0 ML unterscheidet sich wie folgt von der Databricks Runtime 10.0:
-
DBUtils: Databricks Runtime ML enthält kein Bibliothekswerkzeug (dbutils.library) (veraltet).
Verwenden Sie stattdessen
%pip-Befehle. Informationen finden Sie unter Python-Bibliotheken im Notebook-Bereich. - Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
Bibliotheken
In den folgenden Abschnitten sind die Bibliotheken aufgelistet, die in Databricks Runtime 10.0 ML enthalten sind und sich von den in Databricks Runtime 10.0 enthaltenen Bibliotheken unterscheiden.
Inhalt dieses Abschnitts:
- Bibliotheken der obersten Ebene
- Python-Bibliotheken
- R-Bibliotheken
- Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Bibliotheken der obersten Ebene
Databricks Runtime 10.0 ML enthält die folgenden Bibliotheken der obersten Ebene:
- GraphFrames
- Horovod und HorovodRunner
- MLflow
- PyTorch
- Spark-Tensorflow-Verbinder
- TensorFlow
- TensorBoard
Python-Bibliotheken
Databricks Runtime 10.0 ML verwendet Virtualenv zur Verwaltung von Python-Paketen und enthält viele beliebte ML-Pakete.
Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, enthält Databricks Runtime 10.0 ML auch die folgenden Pakete:
- Hyperopt 0.2.5.db2
- Sparkdl 2.2.0_db3
- feature_store 0.3.4
- automl 1.3.1
Python-Bibliotheken in CPU-Clustern
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | Appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | Astor | 0.8.1 | Astunparse | 1.6.3 |
| asynchroner Generator | 1.10 | Attrs | 20.3.0 | Backcall | 0.2.0 |
| bcrypt | 3.2.0 | Bleichmittel | 3.3.0 | blis | 0.7.4 |
| Boto3 | 1.16.7 | Botocore | 1.19.7 | Flaschenhals | 1.3.2 |
| CacheWerkzeuge | 4.2.2 | Katalog | 2.0.6 | Zertifizieren | 2020.12.5 |
| CFFI | 1.14.5 | Chardet | 4.0.0 | Klang | 5.0 |
| klicken | 7.1.2 | Wolkengurke | 1.6.0 | cmdstanpy | 0.9.68 |
| configparser | 5.0.1 | Convertdate | 2.3.2 | Kryptographie | 3.4.7 |
| Fahrradfahrer | 0.10.0 | Cymem | 2.0.5 | Cython | 0.29.23 |
| databricks-automl-runtime | 0.1.0 | databricks-cli | 0.14.3 | dbus-python | 1.2.16 |
| Dekorateur | 5.0.6 | defusedxml | 0.7.1 | Dill | 0.3.2 |
| Festplatten-Cache | 5.2.1 | Distlib | 0.3.2 | Distro-Informationen | 0.23ubuntu1 |
| Einstiegspunkte | 0,3 | Kurzlebig | 4.0.0.2 | Facettenübersicht | 1.0.0 |
| Dateisperrung | 3.0.12 | Flasche | 1.1.2 | FlatBuffers | 1.12 |
| fsspec | 0.9.0 | Zukunft | 0.18.2 | gast | 0.4.0 |
| gitdb | 4.0.7 | GitPython | 3.1.12 | Google-Authentifizierung | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | Google-Pasta | 0.2.0 | GRPCIO | 1.39.0 |
| gunicorn | 20.0.4 | h5py | 3.1.0 | Hijri-Konverter | 2.2.1 |
| Ferien | 0.11.2 | Horovod | 0.22.1 | htmlmin | 0.1.12 |
| huggingface-hub | 0.0.12 | idna | 2.10 | ImageHash | 4.2.1 |
| Ungleichgewichte lernen | 0.8.0 | importlib-metadata | 3.10.0 | ipykernel | 5.3.4 |
| ipython | 7.22.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 |
| Isodate | 0.6.0 | es ist gefährlich | 1.1.0 | Jedi | 0.17.2 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.3.0 | jsonschema | 3.2.0 | Jupyter-Client | 6.1.12 |
| jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.6.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| Koalas | 1.8.1 | koreanischer Mondkalender | 0.2.1 | lightgbm | 3.1.1 |
| llvmlite | 0.37.0 | Mondkalender | 0.0.9 | Mako | 1.1.3 |
| Markdown | 3.3.3 | MarkupSafe | 1.1.1 | matplotlib | 3.4.2 |
| fehltNein | 0.5.0 | verstimmen | 0.8.4 | mleap | 0.17.0 |
| mlflow-skinny | 1.20.2 | Multimethod | 1.4 | Murmurhash | 1.0.5 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | networkx | 2,5 | Natural Language Toolkit (nltk) | 3.6.1 |
| Notebook | 6.3.0 | numba | 0.54.0 | numpy | 1.19.2 |
| oauthlib | 3.1.0 | opt-einsum | 3.3.0 | Packen | 20.9 |
| Pandas | 1.2.4 | Pandas-Profiling | 3.0.0 | Pandocfilter | 1.4.3 |
| paramiko | 2.7.2 | Parso | 0.7.0 | pathie | 0.6.0 |
| Sündenbock | 0.5.1 | Petastorm | 0.11.2 | pexpect | 4.8.0 |
| phik | 0.12.0 | Pickleshare | 0.7.5 | Kissen | 8.2.0 |
| pip | 21.0.1 | Handlung | 5.1.0 | vorgehäckselt | 3.0.5 |
| prometheus-client | 0.10.1 | Prompt-Toolkit | 3.0.17 | Prophet | 1.0.1 |
| protobuf | 3.17.2 | psutil | 5.8.0 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | Pyarrow | 4.0.0 | Pyasn1 | 0.4.8 |
| Pyasn1-Module | 0.2.8 | Pycparser | 2,20 | Pydantisch | 1.8.2 |
| Pygments | 2.8.1 | PyGObject | 3.36.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.3.0 | pyodbc | 4.0.30 | Pyparsing | 2.4.7 |
| Pyristent | 0.17.3 | Pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.6 |
| Python-dateutil | 2.8.1 | Python-Editor | 1.0.4 | Pytz | 2020.5 |
| PyWavelets | 1.1.1 | PyYAML | 5.4.1 | pyzmq | 20.0.0 |
| Regex | 2021.4.4 | Anforderungen | 2.25.1 | requests-oauthlib | 1.3.0 |
| requests-unixsocket | 0.2.0 | rsa | 4.7.2 | s3transfer | 0.3.7 |
| sacremoses | 0.0.45 | scikit-lernen | 0.24.1 | SciPy | 1.6.2 |
| Seegeboren | 0.11.1 | Send2Trash | 1.5.0 | setuptools | 52.0.0 |
| setuptools-git | 1.2 | Schattierung | 0.39.0 | simplejson | 3.17.2 |
| Sechs | 1.15.0 | Schneidemaschine | 0.0.7 | smart-open | 5.2.0 |
| smmap | 3.0.5 | Geräumig | 3.1.2 | Spacy-Legacy | 3.0.8 |
| Spark-Tensorflow-Distributor | 1.0.0 | sqlparse | 0.4.1 | srsly | 2.4.1 |
| ssh-import-id | 5.10 | StatistikModelle | 0.12.2 | tabellarisieren | 0.8.7 |
| tangled-up-in-unicode | 0.1.0 | Hartnäckigkeit | 6.2.0 | TensorBoard | 2.6.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-wit | 1.8.0 | tensorflow-cpu | 2.6.0 |
| TensorFlow-Estimator | 2.6.0 | Termcolor | 1.1.0 | beendet | 0.9.4 |
| Testpfad | 0.4.4 | thinc | 8.0.8 | Threadpoolctl | 2.1.0 |
| Tokenizer | 0.10.3 | Fackel | 1.9.0+cpu | Fackelvision | 0.10.0+cpu |
| Tornado | 6.1 | tqdm | 4.59.0 | Traitlets | 5.0.5 |
| Transformatoren | 4.9.2 | Typer | 0.3.2 | Erweiterungen für Typisierung | 3.7.4.3 |
| ujson | 4.0.2 | unbeaufsichtigte Aktualisierungen | 0,1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | Visionen | 0.7.1 | Wasabi | 0.8.2 |
| wcwidth | 0.2.5 | Webkodierungen | 0.5.1 | websocket-Client | 0.57.0 |
| Werkzeug | 1.0.1 | Rad | 0.36.2 | widgetsnbextension | 3.5.1 |
| Eingehüllt | 1.12.1 | xgboost | 1.4.2 | ZIPP | 3.4.1 |
Python-Bibliotheken für GPU-Cluster
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10 (ISO-Rolling) | Appdirs | 1.4.4 |
| argon2-cffi | 20.1.0 | Astor | 0.8.1 | Astunparse | 1.6.3 |
| asynchroner Generator | 1.10 | Attrs | 20.3.0 | Backcall | 0.2.0 |
| bcrypt | 3.2.0 | Bleichmittel | 3.3.0 | blis | 0.7.4 |
| Boto3 | 1.16.7 | Botocore | 1.19.7 | Flaschenhals | 1.3.2 |
| CacheWerkzeuge | 4.2.2 | Katalog | 2.0.6 | Zertifizieren | 2020.12.5 |
| CFFI | 1.14.5 | Chardet | 4.0.0 | Klang | 5.0 |
| klicken | 7.1.2 | Wolkengurke | 1.6.0 | cmdstanpy | 0.9.68 |
| configparser | 5.0.1 | Convertdate | 2.3.2 | Kryptographie | 3.4.7 |
| Fahrradfahrer | 0.10.0 | Cymem | 2.0.5 | Cython | 0.29.23 |
| databricks-automl-runtime | 0.1.0 | databricks-cli | 0.14.3 | dbus-python | 1.2.16 |
| Dekorateur | 5.0.6 | defusedxml | 0.7.1 | Dill | 0.3.2 |
| Festplatten-Cache | 5.2.1 | Distlib | 0.3.2 | Distro-Informationen | 0.23ubuntu1 |
| Einstiegspunkte | 0,3 | Kurzlebig | 4.0.0.2 | Facettenübersicht | 1.0.0 |
| Dateisperrung | 3.0.12 | Flasche | 1.1.2 | FlatBuffers | 1.12 |
| fsspec | 0.9.0 | Zukunft | 0.18.2 | gast | 0.4.0 |
| gitdb | 4.0.7 | GitPython | 3.1.12 | Google-Authentifizierung | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | Google-Pasta | 0.2.0 | GRPCIO | 1.39.0 |
| gunicorn | 20.0.4 | h5py | 3.1.0 | Hijri-Konverter | 2.2.1 |
| Ferien | 0.11.2 | Horovod | 0.22.1 | htmlmin | 0.1.12 |
| huggingface-hub | 0.0.12 | idna | 2.10 | ImageHash | 4.2.1 |
| Ungleichgewichte lernen | 0.8.0 | importlib-metadata | 3.10.0 | ipykernel | 5.3.4 |
| ipython | 7.22.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 |
| Isodate | 0.6.0 | es ist gefährlich | 1.1.0 | Jedi | 0.17.2 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.3.0 | jsonschema | 3.2.0 | Jupyter-Client | 6.1.12 |
| jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.6.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| Koalas | 1.8.1 | koreanischer Mondkalender | 0.2.1 | lightgbm | 3.1.1 |
| llvmlite | 0.37.0 | Mondkalender | 0.0.9 | Mako | 1.1.3 |
| Markdown | 3.3.3 | MarkupSafe | 1.1.1 | matplotlib | 3.4.2 |
| fehltNein | 0.5.0 | verstimmen | 0.8.4 | mleap | 0.17.0 |
| mlflow-skinny | 1.20.2 | Multimethod | 1.4 | Murmurhash | 1.0.5 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | networkx | 2,5 | Natural Language Toolkit (nltk) | 3.6.1 |
| Notebook | 6.3.0 | numba | 0.54.0 | numpy | 1.19.2 |
| oauthlib | 3.1.0 | opt-einsum | 3.3.0 | Packen | 20.9 |
| Pandas | 1.2.4 | Pandas-Profiling | 3.0.0 | Pandocfilter | 1.4.3 |
| paramiko | 2.7.2 | Parso | 0.7.0 | pathie | 0.6.0 |
| Sündenbock | 0.5.1 | Petastorm | 0.11.2 | pexpect | 4.8.0 |
| phik | 0.12.0 | Pickleshare | 0.7.5 | Kissen | 8.2.0 |
| pip | 21.0.1 | Handlung | 5.1.0 | vorgehäckselt | 3.0.5 |
| Prompt-Toolkit | 3.0.17 | Prophet | 1.0.1 | protobuf | 3.17.2 |
| psutil | 5.8.0 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| Pyarrow | 4.0.0 | Pyasn1 | 0.4.8 | Pyasn1-Module | 0.2.8 |
| Pycparser | 2,20 | Pydantisch | 1.8.2 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.3.0 |
| pyodbc | 4.0.30 | Pyparsing | 2.4.7 | Pyristent | 0.17.3 |
| Pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.6 | Python-dateutil | 2.8.1 |
| Python-Editor | 1.0.4 | Pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | Regex | 2021.4.4 |
| Anforderungen | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| rsa | 4.7.2 | s3transfer | 0.3.7 | sacremoses | 0.0.45 |
| scikit-lernen | 0.24.1 | SciPy | 1.6.2 | Seegeboren | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| Schattierung | 0.39.0 | simplejson | 3.17.2 | Sechs | 1.15.0 |
| Schneidemaschine | 0.0.7 | smart-open | 5.2.0 | smmap | 3.0.5 |
| Geräumig | 3.1.2 | Spacy-Legacy | 3.0.8 | Spark-Tensorflow-Distributor | 1.0.0 |
| sqlparse | 0.4.1 | srsly | 2.4.1 | ssh-import-id | 5.10 |
| StatistikModelle | 0.12.2 | tabellarisieren | 0.8.7 | tangled-up-in-unicode | 0.1.0 |
| Hartnäckigkeit | 6.2.0 | TensorBoard | 2.6.0 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-wit | 1.8.0 | TensorFlow | 2.6.0 | TensorFlow-Estimator | 2.6.0 |
| Termcolor | 1.1.0 | beendet | 0.9.4 | Testpfad | 0.4.4 |
| thinc | 8.0.8 | Threadpoolctl | 2.1.0 | Tokenizer | 0.10.3 |
| Fackel | 1.9.0+cu111 | Fackelvision | 0.10.0+cu111 | Tornado | 6.1 |
| tqdm | 4.59.0 | Traitlets | 5.0.5 | Transformatoren | 4.9.2 |
| Typer | 0.3.2 | Erweiterungen für Typisierung | 3.7.4.3 | ujson | 4.0.2 |
| unbeaufsichtigte Aktualisierungen | 0,1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| Visionen | 0.7.1 | Wasabi | 0.8.2 | wcwidth | 0.2.5 |
| Webkodierungen | 0.5.1 | websocket-Client | 0.57.0 | Werkzeug | 1.0.1 |
| Rad | 0.36.2 | widgetsnbextension | 3.5.1 | Eingehüllt | 1.12.1 |
| xgboost | 1.4.2 | ZIPP | 3.4.1 |
Spark-Pakete mit Python-Modulen
| Spark-Paket | Python-Modul | Version |
|---|---|---|
| Graphframes | Graphframes | 0.8.1-db6-spark3.2 |
R-Bibliotheken
Die R-Bibliotheken sind mit den R-Bibliotheken in Databricks Runtime 10.0 identisch.
Java- und Scala-Bibliotheken (Scala 2.12-Cluster)
Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 10.0 enthält Databricks Runtime 10.0 ML die folgenden JAR-Dateien:
Rechencluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db6-spark3.2 |
| org.mlflow | mlflow-client | 1.20.2 |
| org.mlflow | mlflow-spark | 1.20.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-Cluster
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.4.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db6-spark3.2 |
| org.mlflow | mlflow-client | 1.20.2 |
| org.mlflow | mlflow-spark | 1.20.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |