Databricks Runtime 11.0 voor Machine Learning (EoS)

Opmerking

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Beëindiging van ondersteuning en einde levenscyclus geschiedenis voor de einddatum van de ondersteuning. Voor alle ondersteunde Databricks Runtime-versies, zie Databricks Runtime release-opmerkingen over versies en compatibiliteit.

Databricks Runtime 11.0 voor Machine Learning biedt een kant-en-klareto-go-omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 11.0 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.

Nieuwe functies en verbeteringen

Databricks Runtime 11.0 ML is gebouwd op Databricks Runtime 11.0. Zie de releaseopmerkingen van Databricks Runtime 11.0, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 11.0 (EoS ).

Verbeteringen aan AutoML

AutoML ondersteunt nu hogere samplingfracties voor betere prestaties op grote gegevenssets. Zie Voorbeelden van grote gegevenssets voor meer informatie.

Systeemomgeving

De systeemomgeving in Databricks Runtime 11.0 ML verschilt als volgt van Databricks Runtime 11.0:

Libraries

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 11.0 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 11.0.

In deze sectie:

Bibliotheken van topklasse

Databricks Runtime 11.0 ML bevat de volgende vooraanstaande bibliotheken:

Python bibliotheken

Databricks Runtime 11.0 ML maakt gebruik van Virtualenv voor Python pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die zijn opgegeven in de volgende secties, bevat Databricks Runtime 11.0 ML ook de volgende pakketten:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature_store 0.4.1
  • automl 1.10

Python bibliotheken op CPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 Antergos Linux 2015.10 (ISO-Rollend) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 async-generator 1,10
kenmerken 21.2.0 terugroepactie 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 bleekmiddel 4.0.0 geluk 0.7.7
boto3 1.21.18 botocore 1.24.18 cachetools 5.1.0
catalogus 2.0.7 certificaat 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
Converteer datum 2.4.0 cryptografie 3.4.8 wielrijder 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime (automatische machine learning omgeving van Databricks) 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decorateur 5.1.0 defusedxml 0.7.1
dille 0.3.4 diskcache 5.4.0 distlib 0.3.4
distro-info 0.23ubuntu1 invoerpunten 0,3 efemeer 4.1.3
facettenoverzicht 1.0.0 fasttext 0.9.2 bestandsvergrendeling 3.3.1
Flacon 1.1.2 FlatBuffers 2.0 fsspec 2021.8.1
toekomst 0.18.2 gast 0.5.3 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
Google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.3
vakantie 0,13 horovod (Russische volksdans) 0.24.3 htmlmin 0.1.12
huggingface-hub 0.6.0 IDNA 3.2 ImageHash 4.2.1
onevenwichtig leren 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 hetisgevarlijk 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
hard 2.8.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
koreaans-maankalender 0.2.1 langcodes 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 maankalender 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
onstemmen 0.8.4 mleap 0.20.0 mlflow-skinny 1.26.0
multimethode 1.8 murmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 Natural Language Toolkit (nltk) 3.6.5 notebook 6.4.5
numba 0.55.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 verpakking 21,0 Pandas 1.3.4
pandas-profileren 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 ziekte 0.6.1 Patsy 0.5.2
petastorm 0.11.4 pexpect 4.8.0 "Phik" 0.12.2
pickleshare 0.7.5 Kussen 8.4.0 ropje 21.2.4
platformdirs 2.5.2 plotly 5.6.0 pmdarima 1.8.5
vooraf bewerkt 3.0.6 prometheus-client 0.11.0 prompt-hulpmiddelenpakket 3.0.20
profeet 1.0.1 protocolbuffers 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.2
pycparser 2,20 pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.8.2 Pygments 2.10.0
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2
python-bewerker 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6,0 pyzmq 22.2.1 regex 2021.8.3
Verzoeken 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.8 s3transfer 0.5.2 sacremoses 0.0.53
scikit-learn 0.24.2 Scipy (een wetenschappelijke bibliotheek voor Python) 1.7.1 geboren op zee 0.11.2
Send2Trash 1.8.0 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 58.0.4 setuptools-git 1,2
vorm 0.40.0 simplejson 3.17.6 Zes 1.16.0
Snijmachine 0.0.7 geavanceerd openen 5.2.1 smmap 5.0.0
spatie 3.2.3 spacy-legacy 3.0.9 spacy-loggers 1.0.2
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 Serieus? 2.4.3
ssh-import-id 5.10 statsmodels 0.12.2 tabel maken 0.8.9
tangled-up-in-unicode 0.1.0 vasthoudendheid 8.0.1 Tensorbord 2.8.0
tensorboard-data-server (gegevensserver) 0.6.1 tensorboard-plugin-profiel 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.8.0 tensorflow-estimator 2.8.0 tensorflow-io-gcs-filesystem 0.25.0
termcolor 1.1.0 afgerond 0.9.4 testpath 0.5.0
tf-estimator-nightly 2.8.0.dev2021122109 thinc 8.0.15 threadpoolctl 2.2.0
tokeniseerders 0.12.1 fakkel 1.11.0+cpu fakkelvisie 0.12.0+cpu
tornado 6.1 tqdm 4.62.3 Traitlets (Python library voor het configureren van Python-objecten) 5.1.0
Transformatoren 4.17.0 Typeren 0.4.1 typen-extensies 3.10.0.2
ujson 4.0.2 ongecontroleerde upgrades 0,1 urllib3 1.26.7
virtualenv 20.8.0 Visionen 0.7.4 wasabi 0.9.1
wcwidth 0.2.5 Webencoderingen 0.5.1 websocket-client 1.3.1
gereedschap 2.0.2 wiel 0.37.0 widgetsnbextension 3.6.0
omsloten 1.12.1 xgboost 1.5.2 ritssluiting 3.6.0

Python bibliotheken op GPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 Antergos Linux 2015.10 (ISO-Rollend) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 async-generator 1,10
kenmerken 21.2.0 terugroepactie 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 bleekmiddel 4.0.0 geluk 0.7.7
boto3 1.21.18 botocore 1.24.18 cachetools 5.1.0
catalogus 2.0.7 certificaat 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
Converteer datum 2.4.0 cryptografie 3.4.8 wielrijder 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime (automatische machine learning omgeving van Databricks) 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 decorateur 5.1.0 defusedxml 0.7.1
dille 0.3.4 diskcache 5.4.0 distlib 0.3.4
distro-info 0.23ubuntu1 invoerpunten 0,3 efemeer 4.1.3
facettenoverzicht 1.0.0 fasttext 0.9.2 bestandsvergrendeling 3.3.1
Flacon 1.1.2 FlatBuffers 2.0 fsspec 2021.8.1
toekomst 0.18.2 gast 0.5.3 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
Google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 hijri-converter 2.2.3
vakantie 0,13 horovod (Russische volksdans) 0.24.3 htmlmin 0.1.12
huggingface-hub 0.6.0 IDNA 3.2 ImageHash 4.2.1
onevenwichtig leren 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 hetisgevarlijk 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
hard 2.8.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.1
koreaans-maankalender 0.2.1 langcodes 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 maankalender 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno 0.5.1
onstemmen 0.8.4 mleap 0.20.0 mlflow-skinny 1.26.0
multimethode 1.8 murmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 Natural Language Toolkit (nltk) 3.6.5 notebook 6.4.5
numba 0.55.1 numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 verpakking 21,0 Pandas 1.3.4
pandas-profileren 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 ziekte 0.6.1 Patsy 0.5.2
petastorm 0.11.4 pexpect 4.8.0 "Phik" 0.12.2
pickleshare 0.7.5 Kussen 8.4.0 ropje 21.2.4
platformdirs 2.5.2 plotly 5.6.0 pmdarima 1.8.5
vooraf bewerkt 3.0.6 prompt-hulpmiddelenpakket 3.0.20 profeet 1.0.1
protocolbuffers 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.9.2 pycparser 2,20
pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.8.2 Pygments 2.10.0 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2 python-bewerker 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6,0
pyzmq 22.2.1 regex 2021.8.3 Verzoeken 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.8
s3transfer 0.5.2 sacremoses 0.0.53 scikit-learn 0.24.2
Scipy (een wetenschappelijke bibliotheek voor Python) 1.7.1 geboren op zee 0.11.2 Send2Trash 1.8.0
setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 58.0.4 setuptools-git 1,2 vorm 0.40.0
simplejson 3.17.6 Zes 1.16.0 Snijmachine 0.0.7
geavanceerd openen 5.2.1 smmap 5.0.0 spatie 3.2.3
spacy-legacy 3.0.9 spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 Serieus? 2.4.3 ssh-import-id 5.10
statsmodels 0.12.2 tabel maken 0.8.9 tangled-up-in-unicode 0.1.0
vasthoudendheid 8.0.1 Tensorbord 2.8.0 tensorboard-data-server (gegevensserver) 0.6.1
tensorboard-plugin-profiel 2.5.0 tensorboard-plugin-wit 1.8.1 TensorFlow 2.8.0
tensorflow-estimator 2.8.0 tensorflow-io-gcs-filesystem 0.25.0 termcolor 1.1.0
afgerond 0.9.4 testpath 0.5.0 tf-estimator-nightly 2.8.0.dev2021122109
thinc 8.0.15 threadpoolctl 2.2.0 tokeniseerders 0.12.1
fakkel 1.11.0+cu113 fakkelvisie 0.12.0+cu113 tornado 6.1
tqdm 4.62.3 Traitlets (Python library voor het configureren van Python-objecten) 5.1.0 Transformatoren 4.17.0
Typeren 0.4.1 typen-extensies 3.10.0.2 ujson 4.0.2
ongecontroleerde upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
Visionen 0.7.4 wasabi 0.9.1 wcwidth 0.2.5
Webencoderingen 0.5.1 websocket-client 1.3.1 gereedschap 2.0.2
wiel 0.37.0 widgetsnbextension 3.6.0 omsloten 1.12.1
xgboost 1.5.2 ritssluiting 3.6.0

Spark-pakketten met Python modules

Spark-pakket module voor Python Versie
graphframes graphframes 0.8.2-db1-spark3.2

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 11.0.

Java en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 11.0 bevat Databricks Runtime 11.0 ML de volgende JAR's:

CPU-clusters

Groeps-id Artefact-ID Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-clusters

Groeps-id Artefact-ID Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on