Databricks Runtime 15.0 para Aprendizaje Automático (EoS)

Nota:

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de fin de soporte técnico y finalización del ciclo de vida. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.

Databricks Runtime 15.0 para machine learning proporciona un entorno preparado para machine learning y ciencia de datos basado en Databricks Runtime 15.0 (EoS). Databricks Runtime ML contiene muchas bibliotecas de aprendizaje automático populares, como TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 15.0 ML se basa en Databricks Runtime 15.0. Para obtener información sobre las novedades de Databricks Runtime 15.0, incluidos Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 15.0 (EoS).

Cambios críticos

La CLI de Databricks heredada ya no está instalada de forma predeterminada

En Databricks Runtime 14.3 LTS ML y versiones posteriores, ya que la versión preinstalada de MLflow requería la CLI heredada de Databricks (databricks/databricks-cli), se instaló automáticamente en $PATH. Databricks Runtime 15.0 ML incluye MLflow versión 2.10.2, que no requiere la CLI heredada.

A partir de Databricks Runtime 15.0 ML, la CLI heredada de Databricks ya no se instala automáticamente en $PATH. Se trata de un cambio importante para los usuarios que dependen de la CLI heredada que se instala en tiempo de ejecución. Los comandos como %sh databricks ... ya no funcionan en Databricks Runtime 15.0 ML y versiones posteriores.

Para seguir usando la CLI heredada de Databricks desde un cuaderno, instálela como un clúster o biblioteca de cuadernos. La nueva CLI de Databricks (databricks/cli) está disponible en el terminal web. Para más información, consulte Uso del terminal web y la CLIde Databricks.

MLeap ya no está disponible a partir de Databricks Runtime 15.0 ML

MLeap ya no está disponible en Databricks Runtime 15.0 ML y versiones posteriores. Para empaquetar modelos para la implementación en marcos basados en JVM, Databricks recomienda usar el formatoONNX.

Desaprobación de Horovod y HorovodRunner

Horovod y HorovodRunner ya están en desuso. Para el aprendizaje profundo distribuido, Databricks recomienda usar TorchDistributor para el entrenamiento distribuido con PyTorch o la API para el tf.distribute.Strategy entrenamiento distribuido con TensorFlow. Horovod y HorovodRunner están preinstalados en Databricks Runtime 15.0 ML, pero se quitarán en la siguiente versión principal de Databricks Runtime ML.

Nota:

no admite las versiones 11.0 y posteriores de pyarrow (consulte la horovod.spark). Databricks Runtime 15.0 ML incluye pyarrow versión 14.0.1. Para usar horovod.spark con Databricks Runtime 15.0 ML o superior, debe instalar manualmente pyarrow, especificando una versión inferior a 11.0.

Entorno del sistema

El entorno del sistema de Databricks Runtime 15.0 ML se diferencia del de Databricks Runtime 15.0 en los siguientes aspectos:

  • En el caso de los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
    • CUDA 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotecas

En las siguientes secciones, se enumeran las bibliotecas que se incluyen en Databricks Runtime 15.0 ML, que difieren de las que se incluyen en Databricks Runtime 15.0.

En esta sección:

Bibliotecas de nivel superior

Databricks Runtime 15.0 ML incluye las siguientes bibliotecas de nivel superior:

bibliotecas de Python

Databricks Runtime 15.0 ML usa virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las siguientes secciones, Databricks Runtime 15.0 ML también incluye estos paquetes:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.25.0

Para reproducir el entorno de Python de Databricks Runtime ML en su entorno virtual de Python local, descargue el archivo requirements-15.0.txt y ejecute pip install -r requirements-15.0.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-timeout 4.0.2
atributos 22.1.0 Audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake (servicio para el almacenamiento de archivos en un lago de datos) 12.14.0
llamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
negro 23.3.0 blanquear 4.1.0 Bendecido 1.20.0
intermitente 1.4 felicidad 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 catálogo 2.0.10
codificadores de categorías 2.6.3 certifi 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizador de conjuntos de caracteres 2.0.4 Haz clic 8.0.4
cloudpathlib 0.16.0 cloudpickle 2.2.1 cmdstanpy 1.2.1
colorido 0.5.6 Comunicación 0.1.2 confitería 0.1.4
configparser 5.2.0 contourpy 1.0.5 criptografía 41.0.3
ciclista 0.11.0 cymem 2.0.8 Cython 0.29.32
dacita 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.3.0
databricks-sdk (kit de desarrollo de software de Databricks) 0.20.0 dataclasses-json 0.6.4 Conjuntos de datos 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador (en contexto técnico, "decorator" es un patrón de diseño) 5.1.1 velocidad profunda 0.13.1 defusedxml 0.7.1
dill 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 puntos de entrada 0,4 evaluar 0.4.1
executing 0.8.3 visión general de las facetas 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 bloqueo de archivos 3.9.0
Flask 2.2.5 flatbuffers 23/05/26 fonttools 4.25.0
frozenlist 1.3.3 fsspec 2023.5.0 futuro 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 google-auth 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.1 Google Cloud Storage (almacenamiento en la nube de Google) 2.11.0 google-crc32c 1.5.0
google-pasta 0.2.0 google-resumable-media (medios reanudables de Google) 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 greenlet 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gimnasio 0.28.1 h11 0.14.0 h5py 3.9.0
hjson 3.1.0 vacaciones 0,38 Horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 plataforma Huggingface-hub 0.20.2 idna 3.4
Hash de imagen 4.3.1 imageio 2.31.1 imbalanced-learn 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.1.2 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 Es peligroso 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 jeepney (vehículo de transporte público típico de Filipinas) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 servidor Jupyter 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5
keras 2.15.0 llavero 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain-community 0.0.20 langchain-core 0.1.23
códigos de idioma 3.3.0 langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.2
libclang 16.0.6 librosa 0.10.1 lightgbm 4.2.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 malvavisco 3.21.1 matplotlib 3.7.2
matplotlib-inline 0.1.6 mdurl 0.1.0 mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 more-itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 Multidic 6.0.2
multimétodo 1.11.2 multiprocess 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 ninja 1.11.1.1 NLTK 3.8.1
notebook 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-ml-py 12.535.133 oauthlib 3.2.0
openai 1.9.0 opencensus 0.11.4 opencensus-context==0.1.2 0.1.3
opt-einsum 3.3.0 embalaje 23.2 Pandas 2.0.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
especificación de ruta (pathspec) 0.10.3 chivo expiatorio 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Almohada 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 pmdarima 2.0.4 chucho 1.8.1
preshed 3.0.9 Cliente-Prometeo 0.14.1 prompt-toolkit 3.0.36
profeta 1.1.5 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pyccolo 0.0.52 pycparser 2.21
pydantic (una biblioteca de validación de datos en Python) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyparsing 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 Python-dateutil 2.8.2 editor de Python 1.0.4
python-lsp-jsonrpc 1.1.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 Ray 2.9.3
regex 2022.7.9 solicitudes 2.31.0 requests-oauthlib 1.3.1
respuestas 0.13.3 rico 13.7.1 rsa 4,9
s3transfer 0.10.0 safetensors 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 biblioteca de visualización de datos de Python llamada seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformadores de frases 2.2.2
frase 0.1.99 setuptools 68.0.0 shap 0.44.0
simplejson 3.17.6 seis 1.16.0 rebanador 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
archivo de sonido 0.12.1 soupsieve 2.4 soxr 0.3.7
spacy 3.7.2 spacy-legacy 3.0.12 espacy-loggers 1.0.5
spark-tensorflow-distributor (distribuidor de TensorFlow para Spark) 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
estaño 0.3.0 statsmodels (paquete de Python para análisis estadístico) 0.14.0 Sintonía 1.11.1
enredado-up-in-unicode 0.2.0 tenacidad 8.2.2 tensorboard 2.15.1
servidor-de-datos-de-tensorboard 0.7.2 Perfil de plugin de TensorBoard 2.15.0 tensorboardX 2.6.2.2
tensorflow-cpu 2.15.0 Estimador de TensorFlow 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor 2.4.0 terminado 0.17.1 thinc 8.2.3
threadpoolctl 2.2.0 Archivo TIFF 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizers 0.15.0
antorcha 2.1.2+cpu torcheval 0.0.7 antorcha 0.16.2+cpu
tornado 6.3.2 tqdm 4.65.0 traitlets 5.7.1
Transformadores 4.36.2 typeguard 2.13.3 typer 0.9.0
inspección de escritura 0.9.0 typing_extensions 4.7.1 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.21.0 Visiones 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 weasel 0.3.4
codificaciones web 0.5.1 cliente de websocket 0.58.0 Werkzeug 2.2.3
rueda 0.38.4 widgetsnbextension 4.0.5 nube de palabras 1.9.3
envuelto 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 zipp 3.11.0

bibliotecas de Python en clústeres de GPU

Biblioteca Versión Biblioteca Versión Biblioteca Versión
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
"asttokens" 2.0.5 astunparse 1.6.3 async-timeout 4.0.2
atributos 22.1.0 Audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake (servicio para el almacenamiento de archivos en un lago de datos) 12.14.0
llamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
negro 23.3.0 blanquear 4.1.0 Bendecido 1.20.0
intermitente 1.4 felicidad 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 catálogo 2.0.10
codificadores de categorías 2.6.3 certifi 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizador de conjuntos de caracteres 2.0.4 Haz clic 8.0.4
cloudpathlib 0.16.0 cloudpickle 2.2.1 cmdstanpy 1.2.1
colorido 0.5.6 Comunicación 0.1.2 confitería 0.1.4
configparser 5.2.0 contourpy 1.0.5 criptografía 41.0.3
ciclista 0.11.0 cymem 2.0.8 Cython 0.29.32
dacita 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.3.0
databricks-sdk (kit de desarrollo de software de Databricks) 0.20.0 dataclasses-json 0.6.4 Conjuntos de datos 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador (en contexto técnico, "decorator" es un patrón de diseño) 5.1.1 velocidad profunda 0.13.1 defusedxml 0.7.1
dill 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.7.0 puntos de entrada 0,4
evaluar 0.4.1 executing 0.8.3 visión general de las facetas 1.1.1
Farama-Notifications 0.0.4 fastjsonschema 2.19.1 fasttext 0.9.2
bloqueo de archivos 3.9.0 flash-attn 2.5.0 Flask 2.2.5
flatbuffers 23/05/26 fonttools 4.25.0 frozenlist 1.3.3
fsspec 2023.5.0 futuro 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google Cloud Storage (almacenamiento en la nube de Google) 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media (medios reanudables de Google) 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
greenlet 2.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 gimnasio 0.28.1
h11 0.14.0 h5py 3.9.0 hjson 3.1.0
vacaciones 0,38 Horovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
plataforma Huggingface-hub 0.20.2 idna 3.4 Hash de imagen 4.3.1
imageio 2.31.1 imbalanced-learn 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.1.2 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
isodate 0.6.1 Es peligroso 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 jeepney (vehículo de transporte público típico de Filipinas) 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2.4 jsonschema 4.17.3
servidor Jupyter 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5 keras 2.15.0
llavero 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain-community 0.0.20 langchain-core 0.1.23 códigos de idioma 3.3.0
langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 16.0.6
librosa 0.10.1 lightgbm 4.2.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
malvavisco 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdurl 0.1.0 mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 more-itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 Multidic 6.0.2 multimétodo 1.11.2
multiprocess 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
ninja 1.11.1.1 NLTK 3.8.1 notebook 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-ml-py 12.535.133 oauthlib 3.2.0 openai 1.9.0
opencensus 0.11.4 opencensus-context==0.1.2 0.1.3 opt-einsum 3.3.0
embalaje 23.2 Pandas 2.0.3 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 especificación de ruta (pathspec) 0.10.3
chivo expiatorio 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Almohada 9.4.0
pip 23.2.1 platformdirs 3.10.0 plotly 5.9.0
pmdarima 2.0.4 chucho 1.8.1 preshed 3.0.9
prompt-toolkit 3.0.36 profeta 1.1.5 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0.6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pyccolo 0.0.52
pycparser 2.21 pydantic (una biblioteca de validación de datos en Python) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyparsing 3.0.9
pyrsistent 0.18.0 pytesseract 0.3.10 Python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 pyzmq 23.2.0
Ray 2.9.3 regex 2022.7.9 solicitudes 2.31.0
requests-oauthlib 1.3.1 respuestas 0.13.3 rico 13.7.1
rsa 4,9 s3transfer 0.10.0 safetensors 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy 1.11.1
biblioteca de visualización de datos de Python llamada seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frases 2.2.2 frase 0.1.99 setuptools 68.0.0
shap 0.44.0 simplejson 3.17.6 seis 1.16.0
rebanador 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 archivo de sonido 0.12.1 soupsieve 2.4
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
espacy-loggers 1.0.5 spark-tensorflow-distributor (distribuidor de TensorFlow para Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
stack-data 0.2.0 estaño 0.3.0 statsmodels (paquete de Python para análisis estadístico) 0.14.0
Sintonía 1.11.1 enredado-up-in-unicode 0.2.0 tenacidad 8.2.2
tensorboard 2.15.1 servidor-de-datos-de-tensorboard 0.7.2 Perfil de plugin de TensorBoard 2.15.0
tensorboardX 2.6.2.2 TensorFlow 2.15.0 Estimador de TensorFlow 2.15.0
tensorflow-io-gcs-filesystem 0.36.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.3 threadpoolctl 2.2.0 Archivo TIFF 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizers 0.15.0 antorcha 2.1.2+cu121 torcheval 0.0.7
antorcha 0.16.2+cu121 tornado 6.3.2 tqdm 4.65.0
traitlets 5.7.1 Transformadores 4.36.2 Tritón 2.1.0
typeguard 2.13.3 typer 0.9.0 inspección de escritura 0.9.0
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.21.0
Visiones 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 weasel 0.3.4 codificaciones web 0.5.1
cliente de websocket 0.58.0 Werkzeug 2.2.3 rueda 0.38.4
widgetsnbextension 4.0.5 nube de palabras 1.9.3 envuelto 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profiling 4.5.1 zipp 3.11.0

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 15.0.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 15.0, Databricks Runtime 15.0 ML contiene los siguientes JAR:

Clústeres de CPU

Identificador de grupo Id. de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clústeres de GPU

Identificador de grupo Id. de artefacto Versión
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on