Databricks Runtime 10.5 för Machine Learning (EoS)

Anmärkning

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i End-of-support and end-of-life history (Slut på support och historik för slutet av livet). Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks Runtime 10.5 för maskininlärning tillhandahåller en redo att använda miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 10.5 (EoS). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningsprocesser. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.

Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.

Nya funktioner och förbättringar

Databricks Runtime 10.5 ML bygger på Databricks Runtime 10.5. Information om nyheter i Databricks Runtime 10.5, inklusive Apache Spark MLlib och SparkR, finns i versionsanteckningarna för Databricks Runtime 10.5 (EoS).

Förbättringar av AutoML

Följande förbättringar har gjorts i AutoML.

  • Förbättrad minnesanvändning gör att AutoML kan träna på större datamängder.
  • Med AutoML-prognostisering kan du nu exportera den bästa modellens förutsägelser till en tabell med hjälp av API:et. Om output_database det anges sparar AutoML förutsägelser om den bästa modellen i en ny tabell i den angivna databasen. Förutsägelserna sparas inte om output_database inte är angiven.

Förbättringar till Databricks Feature Store

Följande förbättringar har gjorts i Databricks Feature Store.

  • Nu kan du ta bort en befintlig funktionstabell med API:et drop_table . Den här åtgärden tar bort den underliggande Delta-tabellen.
  • Nu kan du använda api:et Python för att lägga till en tagg i en funktionstabell när du skapar eller registrerar den och för att lägga till, uppdatera, ta bort eller läsa taggar i befintliga funktionstabeller.

Systemmiljö

Systemmiljön i Databricks Runtime 10.5 ML skiljer sig från Databricks Runtime 10.5 på följande sätt:

Bibliotek

I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 10.5 ML som skiljer sig från de som ingår i Databricks Runtime 10.5.

I detta avsnitt:

Bibliotek på den översta nivån

Databricks Runtime 10.5 ML innehåller följande bibliotek på den översta nivån:

Python bibliotek

Databricks Runtime 10.5 ML använder Virtualenv för Python pakethantering och innehåller många populära ML-paket.

Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 10.5 ML även följande paket:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature_store 0.4.1
  • automl 1.8.0

Python bibliotek i CPU-kluster

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Löpande) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
Asynkron generator 1.10 egenskaper 20.3.0 återanrop 0.2.0
bcrypt 3.2.0 (If no change is necessary, the translation remains as "bidict") 0.21.4 blekmedel 3.3.0
salighet 0.7.7 boto3 1.16.7 botocore 1.19.7
cacheverktyg 4.2.4 katalog 2.0.7 certifikat/certifiering 2020.12.5
cffi 1.14.5 chardet 4.0.0 klicka 7.1.2
cloudpickle 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
konvertera datum 2.4.0 kryptografi 3.4.7 cyklist 0.10.0
cymem 2.0.6 Cython 0.29.23 databricks-automl-runtime 0.2.7
databricks-cli 0.16.4 dbl-tempo 0.1.2 dbus-python 1.2.16
dekoratör 5.0.6 defusedxml 0.7.1 dill 0.3.2
diskcache 5.4.0 distlib 0.3.4 Distro-info 0.23ubuntu1
Ingångspunkter 0,3 efem 4.1.3 Översikt av aspekter 1.0.0
FastText 0.9.2 fillåsning 3.0.12 Flask 1.1.2
flatbuffers 2.0 fsspec 0.9.0 framtid 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.12
Google-autentisering 1.22.1 google-auth-oauthlib 0.4.2 Googlepasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 hijri-converter 2.2.3 ferier 0,13
Horovod (en traditionell cirkeldans från Ryssland och östra slaviska kulturer) 0.23.0 htmlmin 0.1.12 huggingface-hub 0.5.1
IDNA 2.10 ImageHash 4.2.1 obalanserad inlärning 0.8.1
importlib-metadata 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 ipywidgets 7.6.3 isodate 0.6.0
det är farligt 1.1.0 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 Joblibspark 0.3.0
jsonschema 3.2.0 jupyter-klient 6.1.12 jupyter-core 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.8.0
Keras-förbehandling 1.1.2 kiwisolver (ett verktyg/programvara) 1.3.1 Koalas 1.8.2
koreansk månkalender 0.2.1 språkkoder 3.3.0 libclang 13.0.0
lightgbm 3.3.2 llvmlite 0.38.0 Månkalender 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 missingno 0.5.1 felstämning 0.8.4
mleap 0.18.1 mlflow-skinny 1.24.0 flera metoder 1.8
murmurhash 1.0.6 nbclient 0.5.3 nbconvert 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx bibliotek för nätverksanalys 2.5
nltk 3.6.1 anteckningsbok 6.3.0 numba 0.55.1
numpy 1.20.1 oauthlib (ett OAuth-bibliotek) 3.1.0 opt-einsum 3.3.0
emballage 21,3 Pandas 1.2.4 pandas-profiling 3.1.0
pandocfilters 1.4.3 paramiko 2.7.2 parso 0.7.0
pati 0.6.1 Patsy 0.5.1 petastorm 0.11.4
pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 phik 0.12.2 pickleshare 0.7.5
Kudde 8.2.0 pip 21.0.1 plotly 5.6.0
pmdarima 1.8.5 (kontextberoende, ingen direkt översättning utan mer information) 3.0.6 prometheus-client 0.10.1
prompt-verktygslåda 3.0.17 profet 1.0.1 protobuf 3.17.2
psutil 5.8.0 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.9.2 pycparser 2,20 pydantisk 1.8.2
Pygments 2.8.1 PyGObject 3.36.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.30 pyparsing (ett Python-bibliotek för att analysera text) 2.4.7
pyrsistent 0.17.3 PyStan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7
python-dateutil 2.8.1 python-editor (programredigerare för Python) 1.0.4 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 PyWavelets 1.1.1
PyYAML 5.4.1 pyzmq 20.0.0 regex 2021.4.4
begäranden 2.25.1 requests-oauthlib 1.3.0 requests-unixsocket 0.2.0
rsa 4.8 s3transfer 0.3.7 sacremoses 0.0.49
scikit-learn (en maskininlärningsbibliotek) 0.24.1 scipy 1.6.2 född vid havet 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 setuptools-git 1.2
shap 0.40.0 simplejson 3.17.2 six 1.15.0
Skärmaskin 0.0.7 smart-open 5.2.1 smmap 3.0.5
rymdlik 3.2.3 spacy-legacy 3.0.9 spacy-loggers 1.0.2
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.1 seriööst 2.4.3
ssh-import-id 5.10 statsmodels (ett verktyg för statistisk modellering) 0.12.2 Tabellera 0.8.7
tilltrasslad i unicode 0.1.0 uthållighet 6.2.0 TensorBoard 2.8.0
tensorboard-data-server (datahanteringsserver för TensorBoard) 0.6.1 tensorboard-insticksmodul-profil 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.8.0 tensorflow-estimator (en komponent i TensorFlow för modeller) 2.8.0 tensorflow-io-gcs-filesystem 0.24.0
termcolor 1.1.0 avslutad 0.9.4 testpath 0.4.4
tf-estimator-nightly 2.8.0.dev2021122109 thinc 8.0.15 threadpoolctl 2.1.0
Tokeniserare 0.12.1 ficklampa 1.10.2+cpu Fackelsyn 0.11.3+cpu
tornad 6.1 tqdm 4.59.0 Traitlets 5.0.5
Transformatorer 4.17.0 typer 0.4.1 skrivförlängningar 3.7.4.3
ujson 4.0.2 obevakade uppgraderingar 0,1 urllib3 1.25.11
virtualenv 20.4.1 Visioner 0.7.4 Wasabi 0.9.1
wcwidth 0.2.5 webbkodningar 0.5.1 websocket-klient 0.57.0
Werkzeug 1.0.1 hjul 0.36.2 widgetsnbextension 3.5.1
inhöljd 1.12.1 xgboost 1.5.2 blixtlås 3.4.1

Python bibliotek i GPU-kluster

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Löpande) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
Asynkron generator 1.10 egenskaper 20.3.0 återanrop 0.2.0
bcrypt 3.2.0 (If no change is necessary, the translation remains as "bidict") 0.21.4 blekmedel 3.3.0
salighet 0.7.7 boto3 1.16.7 botocore 1.19.7
cacheverktyg 4.2.4 katalog 2.0.7 certifikat/certifiering 2020.12.5
cffi 1.14.5 chardet 4.0.0 klicka 7.1.2
cloudpickle 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
konvertera datum 2.4.0 kryptografi 3.4.7 cyklist 0.10.0
cymem 2.0.6 Cython 0.29.23 databricks-automl-runtime 0.2.7
databricks-cli 0.16.4 dbl-tempo 0.1.2 dbus-python 1.2.16
dekoratör 5.0.6 defusedxml 0.7.1 dill 0.3.2
diskcache 5.4.0 distlib 0.3.4 Distro-info 0.23ubuntu1
Ingångspunkter 0,3 efem 4.1.3 Översikt av aspekter 1.0.0
FastText 0.9.2 fillåsning 3.0.12 Flask 1.1.2
flatbuffers 2.0 fsspec 0.9.0 framtid 0.18.2
gast 0.4.0 gitdb 4.0.9 GitPython 3.1.12
Google-autentisering 1.22.1 google-auth-oauthlib 0.4.2 Googlepasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 hijri-converter 2.2.3 ferier 0,13
Horovod (en traditionell cirkeldans från Ryssland och östra slaviska kulturer) 0.23.0 htmlmin 0.1.12 huggingface-hub 0.5.1
IDNA 2.10 ImageHash 4.2.1 obalanserad inlärning 0.8.1
importlib-metadata 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 ipywidgets 7.6.3 isodate 0.6.0
det är farligt 1.1.0 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 Joblibspark 0.3.0
jsonschema 3.2.0 jupyter-klient 6.1.12 jupyter-core 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.8.0
Keras-förbehandling 1.1.2 kiwisolver (ett verktyg/programvara) 1.3.1 Koalas 1.8.2
koreansk månkalender 0.2.1 språkkoder 3.3.0 libclang 13.0.0
lightgbm 3.3.2 llvmlite 0.38.0 Månkalender 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 missingno 0.5.1 felstämning 0.8.4
mleap 0.18.1 mlflow-skinny 1.24.0 flera metoder 1.8
murmurhash 1.0.6 nbclient 0.5.3 nbconvert 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx bibliotek för nätverksanalys 2.5
nltk 3.6.1 anteckningsbok 6.3.0 numba 0.55.1
numpy 1.20.1 oauthlib (ett OAuth-bibliotek) 3.1.0 opt-einsum 3.3.0
emballage 21,3 Pandas 1.2.4 pandas-profiling 3.1.0
pandocfilters 1.4.3 paramiko 2.7.2 parso 0.7.0
pati 0.6.1 Patsy 0.5.1 petastorm 0.11.4
pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 phik 0.12.2 pickleshare 0.7.5
Kudde 8.2.0 pip 21.0.1 plotly 5.6.0
pmdarima 1.8.5 (kontextberoende, ingen direkt översättning utan mer information) 3.0.6 prompt-verktygslåda 3.0.17
profet 1.0.1 protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.2
pycparser 2,20 pydantisk 1.8.2 Pygments 2.8.1
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.30 pyparsing (ett Python-bibliotek för att analysera text) 2.4.7 pyrsistent 0.17.3
PyStan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1
python-editor (programredigerare för Python) 1.0.4 python-engineio 4.3.0 python-socketio 5.4.1
pytz 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 regex 2021.4.4 begäranden 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 rsa 4.8
s3transfer 0.3.7 sacremoses 0.0.49 scikit-learn (en maskininlärningsbibliotek) 0.24.1
scipy 1.6.2 född vid havet 0.11.1 Send2Trash 1.5.0
setuptools 52.0.0 setuptools-git 1.2 shap 0.40.0
simplejson 3.17.2 six 1.15.0 Skärmaskin 0.0.7
smart-open 5.2.1 smmap 3.0.5 rymdlik 3.2.3
spacy-legacy 3.0.9 spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.1 seriööst 2.4.3 ssh-import-id 5.10
statsmodels (ett verktyg för statistisk modellering) 0.12.2 Tabellera 0.8.7 tilltrasslad i unicode 0.1.0
uthållighet 6.2.0 TensorBoard 2.8.0 tensorboard-data-server (datahanteringsserver för TensorBoard) 0.6.1
tensorboard-insticksmodul-profil 2.5.0 tensorboard-plugin-wit 1.8.1 TensorFlow 2.8.0
tensorflow-estimator (en komponent i TensorFlow för modeller) 2.8.0 tensorflow-io-gcs-filesystem 0.24.0 termcolor 1.1.0
avslutad 0.9.4 testpath 0.4.4 tf-estimator-nightly 2.8.0.dev2021122109
thinc 8.0.15 threadpoolctl 2.1.0 Tokeniserare 0.12.1
ficklampa 1.10.2+cu113 Fackelsyn 0.11.3+cu113 tornad 6.1
tqdm 4.59.0 Traitlets 5.0.5 Transformatorer 4.17.0
typer 0.4.1 skrivförlängningar 3.7.4.3 ujson 4.0.2
obevakade uppgraderingar 0,1 urllib3 1.25.11 virtualenv 20.4.1
Visioner 0.7.4 Wasabi 0.9.1 wcwidth 0.2.5
webbkodningar 0.5.1 websocket-klient 0.57.0 Werkzeug 1.0.1
hjul 0.36.2 widgetsnbextension 3.5.1 inhöljd 1.12.1
xgboost 1.5.2 blixtlås 3.4.1

Spark-paket som innehåller Python moduler

Spark-paket Python-modul Utgåva
graphframes graphframes 0.8.2-db1-spark3.2

R-bibliotek

R-biblioteken är identiska med R-biblioteken i Databricks Runtime 10.5.

Java- och Scala-bibliotek (Scala 2.12-kluster)

Förutom Java- och Scala-bibliotek i Databricks Runtime 10.5 innehåller Databricks Runtime 10.5 ML följande JAR:er:

CPU-kluster

grupp-id Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.24.0
org.mlflow mlflow-spark 1.24.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-kluster

grupp-id Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.24.0
org.mlflow mlflow-spark 1.24.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on