Compartilhar via

Databricks Runtime 14.3 LTS para Machine Learning

O Databricks Runtime 14.3 LTS para Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base em Databricks Runtime 14.3 LTS. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Observação

LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.

Dica

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Novos recursos e aprimoramentos

O Databricks Runtime 14.3 LTS ML é baseado no Databricks Runtime 14.3 LTS. Para obter informações sobre as novidades no Databricks Runtime 14.3 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 14.3 LTS .

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 14.3 LTS (ML) difere do Databricks Runtime 14.3 LTS da seguinte forma:

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

O Databricks Runtime 14.3 LTS para ML inclui o XGBoost 1.7.6, que não tem suporte para os clusters de GPU com capacidade de computação de 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 14.3 LTS ML que são diferentes das incluídas no Databricks Runtime 14.3 LTS.

Nesta seção:

Bibliotecas de camada superior

O Databricks Runtime 14.3 LTS para ML inclui as seguintes bibliotecas de nível superior:

bibliotecas de Python

O Databricks Runtime 14.3 LTS ML usa virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 14.3 LTS para ML também inclui os seguintes pacotes:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.24.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-14.3.txt e execute pip install -r requirements-14.3.txt. Esse comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout (tempo limite para operações assíncronas) 4.0.3
atributos 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 Armazenamento em Blob do Azure 12.19.0 Azure Armazenamento Arquivos Data Lake 12.14.0
chamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
preto 22.6.0 alvejante 4.1.0 antolho 1.4
felicidade 0.7.11 boto3 1.24.28 botocore 1.27.96
ferramentas de cache 5.3.2 catálogo 2.0.10 codificadores de categoria 2.6.3
certificação 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizador de conjunto de caracteres 2.0.4 clique 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Comunicação 0.1.2
confecção 0.1.4 configparser 5.2.0 contorno 1.0.5
criptografia 39.0.1 ciclista 0.11.0 cymem 2.0.8
Cython 0.29.32 Dacite 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-engenharia-de-características 0.2.0 databricks-sdk 0.1.6
dataclasses-json 0.6.3 conjuntos de dados 2.15.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorador 5.1.1
deepspeed 0.12.4 defusedxml 0.7.1 endro 0.3.6
cache de disco 5.6.3 distlib 0.3.7 de docstring para markdown 0,11
pontos de entrada 0,4 avaliar 0.4.1 executando 0.8.3
Visão geral de facetas 1.1.1 fastjsonschema 2.19.1 fasttext 0.9.2
bloqueio de arquivo 3.9.0 Flask 2.2.5 flatbuffers 26/05/2023
fonttools 4.25.0 lista de congelados 1.4.1 fsspec 2023.6.0
futuro 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-mídia-retomável 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 feriados 0,38
horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 IDNA 3.4 ImageHash 4.3.1
desequilibrado-learn 0.11.0 importlib-metadata 4.11.3 importlib_resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets (biblioteca Python para widgets interativos) 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.14.0
keyring 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 códigos de idioma 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
malvavisco 3.20.2 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 ml-dtypes 0.2.0
mlflow-magro 2.9.2 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 _multidict_ 6.0.4 multimétodo 1,10
multiprocesso 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 embalagem 23,2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Almofada 9.4.0 caroço 22.3.1 platformdirs 2.5.2
enredo 5.9.0 Pluggy 1.0.0 pmdarima 2.0.4
Cachorrinho 1.4.0 If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated. 3.0.9 prometheus-client 0.14.1
kit de ferramentas de prompt 3.0.36 profeta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 Pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
ferramenta pyflakes para verificação estática de código em Python 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 Pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server (servidor LSP para Python) 1.8.0
pytoolconfig 1.2.5 Pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
solicitações 2.28.1 requests-oauthlib 1.3.1 respostas 0.18.0
corda 1.7.0 RSA 4.9 s3transfer 0.6.2
safetensors 0.4.1 scikit-aprender 1.1.1 Scipy 1.10.0
seaborn (biblioteca de visualização em Python) 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frase 2.2.2 sentencepiece 0.1.99 Ferramentas de configuração 65.6.3
Shap 0.44.0 simplejson 3.17.6 seis 1.16.0
segmentação 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 arquivo de som 0.12.1 Soupsieve 2.3.2.post1
soxr 0.3.7 espaçoso 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
dados empilhados 0.2.0 estanho 0.3.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.13.5
sympy 1.11.1 Tabulate 0.8.10 enrolado-em-unicode 0.2.0
tenacidade 8.1.0 Tensorboard 2.14.1 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow-cpu 2.14.1 tensorflow-estimator 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 criadores de token 0.15.0
tomli 2.0.1 lanterna 2.0.1+cpu visão de tocha 0.15.2+cpu
tornado 6.1 tqdm 4.64.1 traitlets 5.7.1
Transformadores 4.36.1 guarda-tipo 2.13.3 Typer 0.9.0
inspecionar digitação 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
atualizações não supervisionadas 0,1 urllib3 1.26.14 virtualenv 20.16.7
visões 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 doninha 0.3.4 codificações web 0.5.1
websocket-client (cliente WebSocket) 0.58.0 Ferramentas 2.2.2 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 nuvem de palavras 1.9.3
embrulhado 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. 1.9.4 criação de perfil de ydata 4.2.0
zipp 3.11.0

bibliotecas Python em clusters de GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout (tempo limite para operações assíncronas) 4.0.3
atributos 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 Armazenamento em Blob do Azure 12.19.0 Azure Armazenamento Arquivos Data Lake 12.14.0
chamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
preto 22.6.0 alvejante 4.1.0 antolho 1.4
felicidade 0.7.11 boto3 1.24.28 botocore 1.27.96
ferramentas de cache 5.3.2 catálogo 2.0.10 codificadores de categoria 2.6.3
certificação 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizador de conjunto de caracteres 2.0.4 clique 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.28.1 cmdstanpy 1.2.0
Comunicação 0.1.2 confecção 0.1.4 configparser 5.2.0
contorno 1.0.5 criptografia 39.0.1 ciclista 0.11.0
cymem 2.0.8 Cython 0.29.32 Dacite 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-engenharia-de-características 0.2.0
databricks-sdk 0.1.6 dataclasses-json 0.6.3 conjuntos de dados 2.15.0
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador 5.1.1 deepspeed 0.12.4 defusedxml 0.7.1
endro 0.3.6 cache de disco 5.6.3 distlib 0.3.7
de docstring para markdown 0,11 einops 0.7.0 pontos de entrada 0,4
avaliar 0.4.1 executando 0.8.3 Visão geral de facetas 1.1.1
fastjsonschema 2.19.1 fasttext 0.9.2 bloqueio de arquivo 3.9.0
flash-attn 2.3.6 Flask 2.2.5 flatbuffers 26/05/2023
fonttools 4.25.0 lista de congelados 1.4.1 fsspec 2023.6.0
futuro 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-mídia-retomável 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 feriados 0,38
horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 IDNA 3.4 ImageHash 4.3.1
desequilibrado-learn 0.11.0 importlib-metadata 4.11.3 importlib_resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets (biblioteca Python para widgets interativos) 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.14.0
keyring 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 códigos de idioma 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 iluminado 17.0.6 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 malvavisco 3.20.2 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
ml-dtypes 0.2.0 mlflow-magro 2.9.2 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 _multidict_ 6.0.4
multimétodo 1,10 multiprocesso 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 notebook 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 embalagem 23,2
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Almofada 9.4.0 caroço 22.3.1
platformdirs 2.5.2 enredo 5.9.0 Pluggy 1.0.0
pmdarima 2.0.4 Cachorrinho 1.4.0 If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated. 3.0.9
kit de ferramentas de prompt 3.0.36 profeta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 Pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
ferramenta pyflakes para verificação estática de código em Python 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 Pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server (servidor LSP para Python) 1.8.0
pytoolconfig 1.2.5 Pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
solicitações 2.28.1 requests-oauthlib 1.3.1 respostas 0.18.0
corda 1.7.0 RSA 4.9 s3transfer 0.6.2
safetensors 0.4.1 scikit-aprender 1.1.1 Scipy 1.10.0
seaborn (biblioteca de visualização em Python) 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frase 2.2.2 sentencepiece 0.1.99 Ferramentas de configuração 65.6.3
Shap 0.44.0 simplejson 3.17.6 seis 1.16.0
segmentação 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 arquivo de som 0.12.1 Soupsieve 2.3.2.post1
soxr 0.3.7 espaçoso 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
dados empilhados 0.2.0 estanho 0.3.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.13.5
sympy 1.11.1 Tabulate 0.8.10 enrolado-em-unicode 0.2.0
tenacidade 8.1.0 Tensorboard 2.14.1 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.14.0 TensorFlow 2.14.1 tensorflow-estimator 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 criadores de token 0.15.0
tomli 2.0.1 lanterna 2.0.1+cu118 visão de tocha 0.15.2+cu118
tornado 6.1 tqdm 4.64.1 traitlets 5.7.1
Transformadores 4.36.1 Tritão 2.0.0 guarda-tipo 2.13.3
Typer 0.9.0 inspecionar digitação 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 atualizações não supervisionadas 0,1 urllib3 1.26.14
virtualenv 20.16.7 visões 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 doninha 0.3.4
codificações web 0.5.1 websocket-client (cliente WebSocket) 0.58.0 Ferramentas 2.2.2
whatthepatch 1.0.2 wheel 0.38.4 widgetsnbextension 3.6.1
nuvem de palavras 1.9.3 embrulhado 1.14.1 xgboost 1.7.6
xxhash 3.4.1 yapf 0.33.0 Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. 1.9.4
criação de perfil de ydata 4.2.0 zipp 3.11.0

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 14.3 LTS.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 14.3 LTS, o Databricks Runtime 14.3 LTS ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do artefato Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID do Grupo ID do artefato Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on