Condividi tramite

Databricks Runtime 12.2 LTS per Machine Learning (EoS)

Annotazioni

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Fine del supporto e cronologia di fine vita. Per tutte le versioni supportate di Databricks Runtime, vedere note di rilascio di Databricks Runtime: versioni e compatibilità.

Databricks Runtime 12.2 LTS per Machine Learning offre un ambiente prontoto-go per l'apprendimento automatico e l'analisi scientifica dei dati basato su Databricks Runtime 12.2 LTS (EoS). Databricks Runtime ML contiene molte librerie di Machine Learning più diffuse, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche il training di deep learning distribuito utilizzando Horovod.

Nuove funzionalità e miglioramenti

Databricks Runtime 12.2 LTS ML è basato su Databricks Runtime 12.2 LTS. Per informazioni sulle novità di Databricks Runtime 12.2 LTS, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 12.2 LTS (EoS).

AutoML

È possibile usare le tabelle delle funzionalità esistenti in Feature Store per aumentare il set di dati di input originale per i problemi di previsione autoML. Per informazioni dettagliate, vedere Integrazione del Feature Store AutoML.

Per altre informazioni su AutoML, vedere Che cos'è AutoML?.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 12.2 LTS ML differisce da Databricks Runtime 12.2 LTS come indicato di seguito:

Databricks Runtime 12.2 LTS ML include XGBoost 1.7.2, che non supporta i cluster GPU con capacità di calcolo 5.2 e versioni precedenti.

Libraries

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 12.2 LTS ML che differiscono da quelle incluse in Databricks Runtime 12.2 LTS.

In questa sezione:

Librerie di livello superiore

Databricks Runtime 12.2 LTS ML include le librerie di livello superiore seguenti:

librerie Python

Databricks Runtime 12.2 LTS ML usa Virtualenv per la gestione dei pacchetti Python e include molti dei pacchetti ML più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 12.2 LTS ML include anche i pacchetti seguenti:

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

Per riprodurre l'ambiente Python di Databricks Runtime ML nell'ambiente virtuale Python locale, scaricare il file requirements-12.2.txt ed eseguire pip install -r requirements-12.2.txt. Questo comando installa tutte le librerie open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-storeo il fork di Databricks di hyperopt.

Librerie Python sui cluster CPU

Libreria Versione Libreria Versione Libreria Versione
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttoken 2.0.5 astunparse 1.6.3
att. 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
chiamata di ritorno 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 nero 22.3.0 candeggiare 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools (strumento per la gestione della cache) 4.2.2 catalogo 2.0.8 codificatori di categorie 2.5.1.post0
certifi 2021.10.8 cffi 1.15.0 chardet 4.0.0
normalizzatore di set di caratteri 2.0.4 fai clic 8.0.4 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.0.0
cmdstanpy 1.1.0 confezione 0.0.4 configparser (analizzatore di configurazione) 5.2.0
convertdate 2.4.0 criptografia 3.4.8 ciclista 0.11.0
cymem 2.0.7 Cython, un linguaggio di programmazione 0.29.28 databricks-automl-runtime 0.2.15
databricks-cli 0.17.4 Store delle Funzionalità di Databricks 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 Decoratore 5.1.1
defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1 aneto 0.3.4 cache del disco 5.4.0
distlib 0.3.6 Conversione da docstring a markdown 0.11 punti di ingresso 0.4
ephem 4.1.4 esecuzione 0.8.3 panoramica delle facette 1.0.0
fastjsonschema (Una libreria per la convalida veloce dei dati JSON) 2.16.2 fasttext 0.9.2 blocco dei file 3.6.0
Flask 1.1.2 FlatBuffers 23.1.21 fonttools (strumenti per caratteri) 4.25.0
fsspec 2022.2.0 futuro 0.18.2 gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth (autenticazione Google) 1.33.0
google-auth-oauthlib 0.4.6 Google-Pasta 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
hijri-converter 2.2.4 vacanze 0.18 Horovod 0.27.0
htmlmin (strumento per la minimizzazione del codice HTML) 0.1.12 huggingface-hub 0.12.0 IDNA 3.3
ImageHash 4.3.1 imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 it’s dangerous 2.0.1
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 kiwisolver 1.3.2
calendario lunare coreano 0.3.1 codici linguistici 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 Calendario Lunare 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 mccabe 0.7.0
Mistune 0.8.4 mleap 0.20.0 mlflow versione leggera 2.1.1
multimetodo 1.9.1 algoritmo di hashing murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk (Natural Language Toolkit) 3.7
nodeenv 1.7.0 taccuino 6.4.8 numba 0.55.1
numpy 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
imballaggio 21,3 Panda 1.4.2 pandas-profiling 3.6.2
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 patia 0.10.1 vittima 0.5.2
Petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare (libreria di software Python) 0.7.5 Cuscino 9.0.1 seme 21.2.4
platformdirs 2.6.2 plotly (software di visualizzazione dati) 5.6.0 connettivita 1.0.0
pmdarima 2.0.2 (Note: Without context, a definitive improved translation cannot be accurately proposed). 3.0.8 prometheus-client 0.13.1
prompt-toolkit 3.0.20 profeta 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser (un parser scritto in Python) 2.21
pydantic 1.10.2 pyflakes 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
pyright 1.1.283 pyrsistent 0.18.0 python-dateutil (libreria Python per la gestione delle date) 2.8.2
Editor di Python 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0
pytz 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 regex 2022.3.15 richieste 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 corda 0.22.0
rsa 4.7.2 s3transfer 0.5.0 scikit-learn 1.0.2
scipy 1.7.3 Seaborn 0.11.2 Send2Trash 1.8.0
setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 61.2.0 setuptools-git 1.2 forma 0.41.0
simplejson 3.17.6 sei 1.16.0 strumento di taglio 0.0.7
smart-open 5.2.1 smmap 5.0.0 colino per la zuppa 2.3.1
spazioso 3.4.4 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 seriamente? 2.4.5
ssh-import-id (comando per l'importazione di chiavi SSH) 5.10 dati accatastati 0.2.0 statsmodels 0.13.2
tabellare 0.8.9 aggrovigliato-up-in-unicode 0.2.0 tenacità 8.0.1
TensorBoard 2.11.2 server di dati di TensorBoard 0.6.1 plugin di profilazione per tensorboard 2.11.1
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 Stima di tensore tensorflow 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 termcolor 2.2.0 finito 0.13.1
percorso di prova 0.5.0 thinc 8.1.7 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tokenizzatori 0.13.2 tomli 1.2.2
torch 1.13.1+CPU visione della torcia 0.14.1+CPU tornado 6.1
tqdm 4.64.0 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.1 trasformatori 4.25.1
typeguard 2.13.3 Typer 0.7.0 typing_extensions 4.1.1
ujson (una libreria per la gestione di JSON in Python) 5.1.0 aggiornamenti non supervisionati 0,1 urllib3 1.26.9
virtualenv 20.8.0 Visioni 0.7.5 wasabi 0.10.1
wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 codifiche web 0.5.1 cliente WebSocket 0.58.0
Attrezzo 2.0.3 Che cosa è la patch 1.0.4 ruota 0.37.1
widgetsnbextension 3.6.1 rapito 1.12.1 xgboost 1.7.2
yapf 0.31.0 Zipp 3.7.0

Librerie Python sui cluster GPU

Libreria Versione Libreria Versione Libreria Versione
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttoken 2.0.5 astunparse 1.6.3
att. 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
chiamata di ritorno 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 nero 22.3.0 candeggiare 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools (strumento per la gestione della cache) 4.2.2 catalogo 2.0.8 codificatori di categorie 2.5.1.post0
certifi 2021.10.8 cffi 1.15.0 chardet 4.0.0
normalizzatore di set di caratteri 2.0.4 fai clic 8.0.4 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.0.0
cmdstanpy 1.1.0 confezione 0.0.4 configparser (analizzatore di configurazione) 5.2.0
convertdate 2.4.0 criptografia 3.4.8 ciclista 0.11.0
cymem 2.0.7 Cython, un linguaggio di programmazione 0.29.28 databricks-automl-runtime 0.2.15
databricks-cli 0.17.4 Store delle Funzionalità di Databricks 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 Decoratore 5.1.1
defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1 aneto 0.3.4 cache del disco 5.4.0
distlib 0.3.6 Conversione da docstring a markdown 0.11 punti di ingresso 0.4
ephem 4.1.4 esecuzione 0.8.3 panoramica delle facette 1.0.0
fastjsonschema (Una libreria per la convalida veloce dei dati JSON) 2.16.2 fasttext 0.9.2 blocco dei file 3.6.0
Flask 1.1.2 FlatBuffers 23.1.21 fonttools (strumenti per caratteri) 4.25.0
fsspec 2022.2.0 futuro 0.18.2 gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-auth (autenticazione Google) 1.33.0
google-auth-oauthlib 0.4.6 Google-Pasta 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 gviz-api 1.10.0 h5py 3.6.0
hijri-converter 2.2.4 vacanze 0.18 Horovod 0.27.0
htmlmin (strumento per la minimizzazione del codice HTML) 0.1.12 huggingface-hub 0.12.0 IDNA 3.3
ImageHash 4.3.1 imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 it’s dangerous 2.0.1
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 kiwisolver 1.3.2
calendario lunare coreano 0.3.1 codici linguistici 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 Calendario Lunare 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 mccabe 0.7.0
Mistune 0.8.4 mleap 0.20.0 mlflow versione leggera 2.1.1
multimetodo 1.9.1 algoritmo di hashing murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk (Natural Language Toolkit) 3.7
nodeenv 1.7.0 taccuino 6.4.8 numba 0.55.1
numpy 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
imballaggio 21,3 Panda 1.4.2 pandas-profiling 3.6.2
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 patia 0.10.1 vittima 0.5.2
Petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare (libreria di software Python) 0.7.5 Cuscino 9.0.1 seme 21.2.4
platformdirs 2.6.2 plotly (software di visualizzazione dati) 5.6.0 connettivita 1.0.0
pmdarima 2.0.2 (Note: Without context, a definitive improved translation cannot be accurately proposed). 3.0.8 prompt-toolkit 3.0.20
profeta 1.1.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.3 pycparser (un parser scritto in Python) 2.21 pydantic 1.10.2
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil (libreria Python per la gestione delle date) 2.8.2 Editor di Python 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0 pytz 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
regex 2022.3.15 richieste 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 corda 0.22.0 rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
Seaborn 0.11.2 Send2Trash 1.8.0 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 61.2.0
setuptools-git 1.2 forma 0.41.0 simplejson 3.17.6
sei 1.16.0 strumento di taglio 0.0.7 smart-open 5.2.1
smmap 5.0.0 colino per la zuppa 2.3.1 spazioso 3.4.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 seriamente? 2.4.5 ssh-import-id (comando per l'importazione di chiavi SSH) 5.10
dati accatastati 0.2.0 statsmodels 0.13.2 tabellare 0.8.9
aggrovigliato-up-in-unicode 0.2.0 tenacità 8.0.1 TensorBoard 2.11.2
server di dati di TensorBoard 0.6.1 plugin di profilazione per tensorboard 2.11.1 tensorboard-plugin-wit 1.8.1
TensorFlow 2.11.0 Stima di tensore tensorflow 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
termcolor 2.2.0 finito 0.13.1 percorso di prova 0.5.0
thinc 8.1.7 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizzatori 0.13.2 tomli 1.2.2 torch 1.13.1+cu117
visione della torcia 0.14.1+cu117 tornado 6.1 tqdm 4.64.0
traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.1 trasformatori 4.25.1 typeguard 2.13.3
Typer 0.7.0 typing_extensions 4.1.1 ujson (una libreria per la gestione di JSON in Python) 5.1.0
aggiornamenti non supervisionati 0,1 urllib3 1.26.9 virtualenv 20.8.0
Visioni 0.7.5 wasabi 0.10.1 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5
codifiche web 0.5.1 cliente WebSocket 0.58.0 Attrezzo 2.0.3
Che cosa è la patch 1.0.4 ruota 0.37.1 widgetsnbextension 3.6.1
rapito 1.12.1 xgboost 1.7.2 yapf 0.31.0
Zipp 3.7.0

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 12.2 LTS.

Librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 12.2 LTS, Databricks Runtime 12.2 LTS ML contiene i file JAR seguenti:

Cluster di CPU

ID del Gruppo ID dell'artefatto Versione
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Cluster di GPU

ID del Gruppo ID dell'artefatto Versione
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on