Databricks Runtime 10.4 LTS för Machine Learning (EoS)

Anteckning

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i End-of-support and end-of-life history (Slut på support och historik för slutet av livet). Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks Runtime 10.4 LTS för maskininlärning tillhandahåller en redo-att-användas miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 10.4 LTS (EoS). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.

Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.

Nya funktioner och förbättringar

Databricks Runtime 10.4 LTS ML bygger på Databricks Runtime 10.4 LTS. Information om nyheter i Databricks Runtime 10.4 LTS, inklusive Apache Spark MLlib och SparkR, finns i versionsinformationen för Databricks Runtime 10.4 LTS (EoS).

Förbättringar av AutoML

Följande förbättringar har gjorts i AutoML.

AutoML är allmänt tillgängligt

Från och med Databricks Runtime 10.4 LTS ML är AutoML allmänt tillgängligt.

Imputation av saknade värden

Nu kan du ange hur nullvärden ska imputeras. Som standard väljer AutoML en imputationsmetod baserat på kolumntyp och innehåll. Mer information finns i Impute missing values .).

Kolumnval från användargränssnittet

För klassificerings- och regressionsproblem kan du nu använda användargränssnittet utöver API:et för att ange kolumner som AutoML ska ignorera under sina beräkningar. Se Kolumnurval.

Ny datatyp

AutoML stöder nu numeriska matristyper.

Anpassad plats för genererade anteckningsböcker och experiment

Nu kan du ange en plats på arbetsytan där AutoML ska spara genererade notebook-filer och experiment. Använd parametern experiment_dir . Se AutoML Python API-referens.

Förbättringar av Databricks Feature Store

Följande förbättringar har gjorts i Databricks Feature Store.

  • Nu kan du registrera en befintlig Delta-tabell som en funktionstabell.

Systemmiljö

Systemmiljön i Databricks Runtime 10.4 LTS ML skiljer sig från Databricks Runtime 10.4 LTS enligt följande:

Bibliotek

I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 10.4 LTS ML som skiljer sig från de som ingår i Databricks Runtime 10.4 LTS.

I detta avsnitt:

Bibliotek på den översta nivån

Databricks Runtime 10.4 LTS ML innehåller följande bibliotek på den översta nivån:

Python bibliotek

Databricks Runtime 10.4 LTS ML använder Virtualenv för Python pakethantering och innehåller många populära ML-paket.

Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 10.4 LTS ML även följande paket:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db5
  • feature_store 0.3.8
  • automl 1.7.2

Python bibliotek i CPU-kluster

Om du vill återskapa Databricks Runtime ML-Python miljön i din lokala Python virtuella miljö laddar du ned filen requirements-10.4.txt och kör pip install -r requirements-10.4.txt. Det här kommandot installerar alla open source bibliotek som Databricks Runtime ML använder, men installerar inte Azure Databricks utvecklade bibliotek, till exempel databricks-automl, databricks-feature-store eller Databricks-förgrening av hyperopt.

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
Asynkron generator 1.10 egenskaper 20.3.0 återkoppling 0.2.0
bcrypt 3.2.0 (If no change is necessary, the translation remains as "bidict") 0.21.4 blekmedel 3.3.0
lycka 0.7.4 boto3 1.16.7 botocore 1.19.7
cacheverktyg 4.2.4 katalog 2.0.6 certifikat/certifiering 2020.12.5
cffi 1.14.5 chardet 4.0.0 klicka 7.1.2
cloudpickle 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
konvertera datum 2.3.2 kryptografi 3.4.7 cyklist 0.10.0
cymem 2.0.5 Cython 0.29.23 databricks-automl-runtime 0.2.6
databricks-cli 0.16.3 dbl-tempo 0.1.2 dbus-python 1.2.16
dekoratör 5.0.6 defusedxml 0.7.1 dill 0.3.2
diskcache 5.2.1 distlib 0.3.4 Distro-info 0.23ubuntu1
inkörsportar 0,3 efem 4.1.3 översikt över inslag 1.0.0
snabbtext 0.9.2 fillåsning 3.0.12 Flaska 1.1.2
flatbuffers 2.0 fsspec 0.9.0 framtid 0.18.2
Gast 0.4.0 gitdb 4.0.7 GitPython 3.1.12
Google-autentisering 1.22.1 google-auth-oauthlib 0.4.2 Googlepasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 hijri-converter 2.2.3 ferier 0,12
Horovod (en traditionell cirkeldans från Ryssland och östra slaviska kulturer) 0.23.0 htmlmin 0.1.12 huggingface-hub 0.1.2
IDNA 2.10 ImageHash 4.2.1 obalanserad inlärning 0.8.1
importlib-metadata 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 ipywidgets 7.6.3 isodate 0.6.0
det är farligt 1.1.0 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 Joblibspark 0.3.0
jsonschema 3.2.0 jupyter-klient 6.1.12 jupyter-core 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.8.0
Keras-förbearbetning 1.1.2 kiwisolver (ett verktyg/programvara) 1.3.1 Koalas 1.8.2
koreansk månkalender 0.2.1 språkkoder 3.3.0 libclang 13.0.0
lightgbm 3.3.2 llvmlite 0.38.0 Månkalender 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 missingno 0.5.1 felstämt 0.8.4
mleap 0.18.1 mlflow-skinny 1.24.0 flerfunktionsmetod 1,7
murmurhash 1.0.5 nbclient 0.5.3 nbconvert 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx bibliotek för nätverksanalys 2,5
nltk 3.6.1 anteckningsbok 6.3.0 numba 0.55.1
numpy 1.20.1 oauthlib (ett OAuth-bibliotek) 3.1.0 opt-einsum 3.3.0
emballage 21,3 Pandas 1.2.4 pandas-profilering 3.1.0
pandocfilter 1.4.3 paramiko 2.7.2 parso 0.7.0
Pati 0.6.0 Patsy 0.5.1 petastorm 0.11.4
pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 phik 0.12.0 pickleshare 0.7.5
Kudde 8.2.0 Pip (pakethanterare för Python) 21.0.1 plotly 5.5.0
pmdarima 1.8.4 fördefinierad 3.0.5 prometheus-client 0.10.1
prompt-verktygslåda 3.0.17 profet 1.0.1 protobuf 3.17.2
psutil 5.8.0 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.9.1 pycparser 2,20 pydantisk 1.8.2
Pygments 2.8.1 PyGObject 3.36.0 PyMeeus 0.5.11
PyNaCl 1.4.0 pyodbc 4.0.30 pyparsing (ett Python-bibliotek för att analysera text) 2.4.7
pyrsistent 0.17.3 PyStan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7
python-dateutil 2.8.1 python-redigerare 1.0.4 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 PyWavelets 1.1.1
PyYAML 5.4.1 pyzmq 20.0.0 regex 2021.4.4
begäranden 2.25.1 requests-oauthlib 1.3.0 requests-unixsocket 0.2.0
RSA 4.7.2 s3transfer 0.3.7 sacremoses 0.0.46
scikit-learn (en maskininlärningsbibliotek) 0.24.1 scipy 1.6.2 född vid havet 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 setuptools-git 1,2
Shap 0.40.0 simplejson 3.17.2 sex 1.15.0
Skärare 0.0.7 smart-open 5.2.0 smmap 3.0.5
rymdlik 3.2.1 spacy-legacy 3.0.8 spacy-loggers 1.0.1
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.1 srslt 2.4.1
ssh-import-id 5,10 statsmodels (ett verktyg för statistisk modellering) 0.12.2 Tabellform 0.8.7
trasslig upp-i-unicode 0.1.0 uthållighet 6.2.0 TensorBoard 2.8.0
tensorboard-data-server (datahanteringsserver för TensorBoard) 0.6.1 tensorboard-insticksmodul-profil 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.8.0 tensorflow-estimator (en komponent i TensorFlow för modeller) 2.8.0 tensorflow-io-gcs-filesystem 0.24.0
termcolor 1.1.0 slutförd 0.9.4 testpath 0.4.4
tf-estimator-nightly 2.8.0.dev2021122109 thinc 8.0.12 threadpoolctl 2.1.0
tokeniserare 0.10.3 fackla 1.10.2+cpu Fackelsyn 0.11.3+cpu
tornad 6.1 tqdm 4.59.0 Traitlets 5.0.5
Transformatorer 4.16.2 typer 0.3.2 skriva tillägg 3.7.4.3
ujson 4.0.2 obevakade uppgraderingar 0,1 urllib3 1.25.11
virtualenv 20.4.1 Visioner 0.7.4 Wasabi 0.8.2
wcwidth 0.2.5 webbkodningar 0.5.1 websocket-klient 0.57.0
Werkzeug 1.0.1 hjul 0.36.2 widgetsnbextension 3.5.1
inhöljd 1.12.1 xgboost 1.5.2 blixtlås 3.4.1

Python bibliotek i GPU-kluster

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse 1.6.3
Asynkron generator 1.10 egenskaper 20.3.0 återkoppling 0.2.0
bcrypt 3.2.0 (If no change is necessary, the translation remains as "bidict") 0.21.4 blekmedel 3.3.0
lycka 0.7.4 boto3 1.16.7 botocore 1.19.7
cacheverktyg 4.2.4 katalog 2.0.6 certifikat/certifiering 2020.12.5
cffi 1.14.5 chardet 4.0.0 klicka 7.1.2
cloudpickle 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
konvertera datum 2.3.2 kryptografi 3.4.7 cyklist 0.10.0
cymem 2.0.5 Cython 0.29.23 databricks-automl-runtime 0.2.6
databricks-cli 0.16.3 dbl-tempo 0.1.2 dbus-python 1.2.16
dekoratör 5.0.6 defusedxml 0.7.1 dill 0.3.2
diskcache 5.2.1 distlib 0.3.4 Distro-info 0.23ubuntu1
inkörsportar 0,3 efem 4.1.3 översikt över inslag 1.0.0
snabbtext 0.9.2 fillåsning 3.0.12 Flaska 1.1.2
flatbuffers 2.0 fsspec 0.9.0 framtid 0.18.2
Gast 0.4.0 gitdb 4.0.7 GitPython 3.1.12
Google-autentisering 1.22.1 google-auth-oauthlib 0.4.2 Googlepasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 hijri-converter 2.2.3 ferier 0,12
Horovod (en traditionell cirkeldans från Ryssland och östra slaviska kulturer) 0.23.0 htmlmin 0.1.12 huggingface-hub 0.1.2
IDNA 2.10 ImageHash 4.2.1 obalanserad inlärning 0.8.1
importlib-metadata 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 ipywidgets 7.6.3 isodate 0.6.0
det är farligt 1.1.0 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 Joblibspark 0.3.0
jsonschema 3.2.0 jupyter-klient 6.1.12 jupyter-core 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.8.0
Keras-förbearbetning 1.1.2 kiwisolver (ett verktyg/programvara) 1.3.1 Koalas 1.8.2
koreansk månkalender 0.2.1 språkkoder 3.3.0 libclang 13.0.0
lightgbm 3.3.2 llvmlite 0.38.0 Månkalender 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 missingno 0.5.1 felstämt 0.8.4
mleap 0.18.1 mlflow-skinny 1.24.0 flerfunktionsmetod 1,7
murmurhash 1.0.5 nbclient 0.5.3 nbconvert 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx bibliotek för nätverksanalys 2,5
nltk 3.6.1 anteckningsbok 6.3.0 numba 0.55.1
numpy 1.20.1 oauthlib (ett OAuth-bibliotek) 3.1.0 opt-einsum 3.3.0
emballage 21,3 Pandas 1.2.4 pandas-profilering 3.1.0
pandocfilter 1.4.3 paramiko 2.7.2 parso 0.7.0
Pati 0.6.0 Patsy 0.5.1 petastorm 0.11.4
pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 phik 0.12.0 pickleshare 0.7.5
Kudde 8.2.0 Pip (pakethanterare för Python) 21.0.1 plotly 5.5.0
pmdarima 1.8.4 fördefinierad 3.0.5 prompt-verktygslåda 3.0.17
profet 1.0.1 protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.1
pycparser 2,20 pydantisk 1.8.2 Pygments 2.8.1
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.4.0
pyodbc 4.0.30 pyparsing (ett Python-bibliotek för att analysera text) 2.4.7 pyrsistent 0.17.3
PyStan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1
python-redigerare 1.0.4 python-engineio 4.3.0 python-socketio 5.4.1
pytz 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 regex 2021.4.4 begäranden 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 RSA 4.7.2
s3transfer 0.3.7 sacremoses 0.0.46 scikit-learn (en maskininlärningsbibliotek) 0.24.1
scipy 1.6.2 född vid havet 0.11.1 Send2Trash 1.5.0
setuptools 52.0.0 setuptools-git 1,2 Shap 0.40.0
simplejson 3.17.2 sex 1.15.0 Skärare 0.0.7
smart-open 5.2.0 smmap 3.0.5 rymdlik 3.2.1
spacy-legacy 3.0.8 spacy-loggers 1.0.1 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.1 srslt 2.4.1 ssh-import-id 5,10
statsmodels (ett verktyg för statistisk modellering) 0.12.2 Tabellform 0.8.7 trasslig upp-i-unicode 0.1.0
uthållighet 6.2.0 TensorBoard 2.8.0 tensorboard-data-server (datahanteringsserver för TensorBoard) 0.6.1
tensorboard-insticksmodul-profil 2.5.0 tensorboard-plugin-wit 1.8.1 TensorFlow 2.8.0
tensorflow-estimator (en komponent i TensorFlow för modeller) 2.8.0 tensorflow-io-gcs-filesystem 0.24.0 termcolor 1.1.0
slutförd 0.9.4 testpath 0.4.4 tf-estimator-nightly 2.8.0.dev2021122109
thinc 8.0.12 threadpoolctl 2.1.0 tokeniserare 0.10.3
fackla 1.10.2+cu111 Fackelsyn 0.11.3+cu111 tornad 6.1
tqdm 4.59.0 Traitlets 5.0.5 Transformatorer 4.16.2
typer 0.3.2 skriva tillägg 3.7.4.3 ujson 4.0.2
obevakade uppgraderingar 0,1 urllib3 1.25.11 virtualenv 20.4.1
Visioner 0.7.4 Wasabi 0.8.2 wcwidth 0.2.5
webbkodningar 0.5.1 websocket-klient 0.57.0 Werkzeug 1.0.1
hjul 0.36.2 widgetsnbextension 3.5.1 inhöljd 1.12.1
xgboost 1.5.2 blixtlås 3.4.1

Spark-paket som innehåller Python moduler

Spark-paket Python-modul Utgåva
graphframes graphframes 0.8.2-db1-spark3.2

R-bibliotek

R-biblioteken är identiska med R-biblioteken i Databricks Runtime 10.4 LTS.

Java- och Scala-bibliotek (Scala 2.12-kluster)

Förutom Java- och Scala-bibliotek i Databricks Runtime 10.4 LTS innehåller Databricks Runtime 10.4 LTS ML följande JAR:er:

CPU-kluster

Grupp-ID Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.24.0
org.mlflow mlflow-spark 1.24.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-kluster

Grupp-ID Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.24.0
org.mlflow mlflow-spark 1.24.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on