Databricks Runtime 11.0 para Machine Learning (EoS)

Observação

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte o histórico de fim de suporte e fim de vida. Para todas as versões suportadas do Databricks Runtime, consulte Notas de versão do Databricks Runtime: versões e compatibilidade.

O Databricks Runtime 11.0 para Aprendizado de Máquina fornece um ambiente pronto para uso para machine learning e ciência de dados com base em Databricks Runtime 11.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e Machine Learning no Databricks.

Novos recursos e melhorias

O Databricks Runtime 11.0 ML foi desenvolvido com base no Databricks Runtime 11.0. Para obter informações sobre as novidades no Databricks Runtime 11.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 11.0 (EoS ).

Aprimoramentos no AutoML

O AutoML agora oferece suporte a frações de amostragem mais altas para melhor desempenho em grandes conjuntos de dados. Para obter detalhes, confira Amostragem de conjuntos grandes de dados.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 11.0 ML é diferente do Databricks Runtime 11.0 nestes aspectos:

DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Em vez disso, utilize os comandos %pip. Consulte Bibliotecas Python no escopo do Notebook.
Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 11.0 ML que são diferentes daquelas incluídas no Databricks Runtime 11.0.

Nesta seção:

Bibliotecas de camada superior
bibliotecas Python
Bibliotecas do R
Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 11.0 ML inclui as seguintes bibliotecas de camada superior:

bibliotecas de Python

O Databricks Runtime 11.0 ML usa o Virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 11.0 ML também inclui os seguintes pacotes:

hyperopt 0.2.7.db1
sparkdl 2.2.0-db6
feature_store 0.4.1
automl 1.10

bibliotecas Python em clusters de CPU

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
absl-py	1.0.0	Antergos Linux	outubro de 2015 (ISO-Rolling)	argon2-cffi	20.1.0
Astor	0.8.1	astunparse	1.6.3	gerador assíncrono	1,10
atributos	21.2.0	backcall	0.2.0	backports.entry-points-selectable	1.1.1
bcrypt	3.2.2	bleach	4.0.0	felicidade	0.7.7
boto3	1.21.18	botocore	1.24.18	ferramentas de cache	5.1.0
catálogo	2.0.7	certifi...	2021.10.8	cffi	1.14.6
chardet	4.0.0	normalizador de conjunto de caracteres	2.0.4	clique	8.0.3
cloudpickle	2.0.0	cmdstanpy	0.9.68	configparser	5.2.0
convertdate	2.4.0	criptografia	3.4.8	ciclista	0.10.0
cymem	2.0.6	Cython	0.29.24	databricks-automl-runtime	0.2.8
databricks-cli	0.16.4	dbl-tempo	0.1.12	dbus-python	1.2.16
debugpy	1.4.1	decorador	5.1.0	defusedxml	0.7.1
endro	0.3.4	cache de disco	5.4.0	distlib	0.3.4
distro-info	0.23ubuntu1	pontos de entrada	0,3	efêm	4.1.3
Visão geral de facetas	1.0.0	fasttext	0.9.2	bloqueio de arquivo	3.3.1
Flask	1.1.2	flatbuffers	2.0	fsspec	2021.8.1
futuro	0.18.2	gast	0.5.3	gitdb	4.0.9
GitPython	3.1.27	google-auth (autenticação do Google)	2.6.0	google-auth-oauthlib	0.4.6
Google Pasta	0.2.0	grpcio	1.44.0	gunicorn	20.1.0
gviz-api	1.10.0	h5py	3.3.0	hijri-converter	2.2.3
Férias	0.13	horovod	0.24.3	htmlmin	0.1.12
huggingface-hub	0.6.0	IDNA	3.2	ImageHash	4.2.1
desequilibrado-learn	0.8.1	importlib-metadata	4.8.1	ipykernel	6.12.1
ipython	7.32.0	ipython-genutils	0.2.0	ipywidgets	7.7.0
isodate	0.6.1	itsdangerous	2.0.1	Jedi	0.18.0
Jinja2	2.11.3	jmespath	0.10.0	joblib	1.0.1
joblibspark	0.5.0	jsonschema	3.2.0	Cliente Jupyter	6.1.12
jupyter-core	4.8.1	jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0
keras	2.8.0	Keras-Preprocessing	1.1.2	kiwisolver	1.3.1
calendário lunar coreano	0.2.1	códigos de idioma	3.3.0	libclang	14.0.1
lightgbm	3.3.2	llvmlite	0.38.0	Calendário Lunar	0.0.9
Mako	1.2.0	Markdown	3.3.6	MarkupSafe	2.0.1
matplotlib	3.4.3	matplotlib-inline	0.1.2	missingno	0.5.1
Mistune	0.8.4	mleap	0.20.0	mlflow-skinny	1.26.0
multimétodo	1.8	murmurhash	1.0.7	nbclient	0.5.3
nbconvert	6.1.0	nbformat	5.1.3	nest-asyncio	1.5.1
networkx	2.6.3	nltk	3.6.5	notebook	6.4.5
numba	0.55.1	numpy	1.20.3	oauthlib	3.2.0
opt-einsum	3.3.0	empacotamento	21,0	Pandas	1.3.4
pandas-profiling	3.1.0	pandocfilters	1.4.3	paramiko	2.9.2
parso	0.8.2	patia	0.6.1	patsy	0.5.2
petastorm	0.11.4	pexpect	4.8.0	phik	0.12.2
pickleshare	0.7.5	Almofada	8.4.0	pip	21.2.4
platformdirs	2.5.2	enredo	5.6.0	pmdarima	1.8.5
If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated.	3.0.6	prometheus-client	0.11.0	prompt-toolkit	3.0.20
profeta	1.0.1	protobuf	3.19.4	psutil	5.8.0
psycopg2	2.9.3	ptyprocess	0.7.0	Pyarrow	7.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	pybind11	2.9.2
pycparser	2,20	pydantic	1.8.2	Pygments	2.10.0
PyGObject	3.36.0	PyMeeus	0.5.11	PyNaCl	1.5.0
pyodbc	4.0.31	pyparsing	3.0.4	pyrsistent	0.18.0
pystan	2.19.1.1	python-apt	2.0.0+ubuntu0.20.4.7	python-dateutil	2.8.2
editor de Python	1.0.4	Pytz	2021.3	PyWavelets	1.1.1
PyYAML	6,0	pyzmq	22.2.1	regex	2021.8.3
requests	2.26.0	requests-oauthlib	1.3.1	requests-unixsocket	0.2.0
rsa	4.8	s3transfer	0.5.2	sacremoses	0.0.53
scikit-aprender	0.24.2	scipy	1.7.1	seaborn (biblioteca de visualização em Python)	0.11.2
Send2Trash	1.8.0	Ferramentas de configuração	58.0.4	setuptools-git	1.2
shap	0.40.0	simplejson	3.17.6	seis	1.16.0
segmentação	0.0.7	smart-open	5.2.1	smmap	5.0.0
espaçoso	3.2.3	spacy-legacy	3.0.9	spacy-loggers	1.0.2
spark-tensorflow-distributor	1.0.0	sqlparse	0.4.2	srsly	2.4.3
ssh-import-id	5.10	statsmodels (biblioteca para modelos estatísticos em Python)	0.12.2	tabulate	0.8.9
tangled-up-in-unicode	0.1.0	tenacidade	8.0.1	Tensorboard	2.8.0
tensorboard-data-server	0.6.1	tensorboard-plugin-profile	2.5.0	tensorboard-plugin-wit	1.8.1
tensorflow-cpu	2.8.0	tensorflow-estimator	2.8.0	tensorflow-io-gcs-filesystem	0.25.0
termcolor	1.1.0	terminado	0.9.4	caminho de teste	0.5.0
tf-estimator-nightly	2.8.0.dev2021122109	thinc	8.0.15	threadpoolctl	2.2.0
criadores de token	0.12.1	lanterna	1.11.0+cpu	visão de tocha	0.12.0+cpu
tornado	6.1	tqdm	4.62.3	traitlets	5.1.0
Transformadores	4.17.0	Typer	0.4.1	extensões de digitação	3.10.0.2
ujson	4.0.2	atualizações não supervisionadas	0.1	urllib3	1.26.7
virtualenv	20.8.0	visões	0.7.4	wasabi	0.9.1
wcwidth	0.2.5	codificações web	0.5.1	websocket-client (cliente WebSocket)	1.3.1
Ferramentas	2.0.2	wheel	0.37.0	widgetsnbextension	3.6.0
embrulhado	1.12.1	xgboost	1.5.2	zipp	3.6.0

bibliotecas Python em clusters de GPU

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
absl-py	1.0.0	Antergos Linux	outubro de 2015 (ISO-Rolling)	argon2-cffi	20.1.0
Astor	0.8.1	astunparse	1.6.3	gerador assíncrono	1,10
atributos	21.2.0	backcall	0.2.0	backports.entry-points-selectable	1.1.1
bcrypt	3.2.2	bleach	4.0.0	felicidade	0.7.7
boto3	1.21.18	botocore	1.24.18	ferramentas de cache	5.1.0
catálogo	2.0.7	certifi...	2021.10.8	cffi	1.14.6
chardet	4.0.0	normalizador de conjunto de caracteres	2.0.4	clique	8.0.3
cloudpickle	2.0.0	cmdstanpy	0.9.68	configparser	5.2.0
convertdate	2.4.0	criptografia	3.4.8	ciclista	0.10.0
cymem	2.0.6	Cython	0.29.24	databricks-automl-runtime	0.2.8
databricks-cli	0.16.4	dbl-tempo	0.1.12	dbus-python	1.2.16
debugpy	1.4.1	decorador	5.1.0	defusedxml	0.7.1
endro	0.3.4	cache de disco	5.4.0	distlib	0.3.4
distro-info	0.23ubuntu1	pontos de entrada	0,3	efêm	4.1.3
Visão geral de facetas	1.0.0	fasttext	0.9.2	bloqueio de arquivo	3.3.1
Flask	1.1.2	flatbuffers	2.0	fsspec	2021.8.1
futuro	0.18.2	gast	0.5.3	gitdb	4.0.9
GitPython	3.1.27	google-auth (autenticação do Google)	2.6.0	google-auth-oauthlib	0.4.6
Google Pasta	0.2.0	grpcio	1.44.0	gunicorn	20.1.0
gviz-api	1.10.0	h5py	3.3.0	hijri-converter	2.2.3
Férias	0.13	horovod	0.24.3	htmlmin	0.1.12
huggingface-hub	0.6.0	IDNA	3.2	ImageHash	4.2.1
desequilibrado-learn	0.8.1	importlib-metadata	4.8.1	ipykernel	6.12.1
ipython	7.32.0	ipython-genutils	0.2.0	ipywidgets	7.7.0
isodate	0.6.1	itsdangerous	2.0.1	Jedi	0.18.0
Jinja2	2.11.3	jmespath	0.10.0	joblib	1.0.1
joblibspark	0.5.0	jsonschema	3.2.0	Cliente Jupyter	6.1.12
jupyter-core	4.8.1	jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0
keras	2.8.0	Keras-Preprocessing	1.1.2	kiwisolver	1.3.1
calendário lunar coreano	0.2.1	códigos de idioma	3.3.0	libclang	14.0.1
lightgbm	3.3.2	llvmlite	0.38.0	Calendário Lunar	0.0.9
Mako	1.2.0	Markdown	3.3.6	MarkupSafe	2.0.1
matplotlib	3.4.3	matplotlib-inline	0.1.2	missingno	0.5.1
Mistune	0.8.4	mleap	0.20.0	mlflow-skinny	1.26.0
multimétodo	1.8	murmurhash	1.0.7	nbclient	0.5.3
nbconvert	6.1.0	nbformat	5.1.3	nest-asyncio	1.5.1
networkx	2.6.3	nltk	3.6.5	notebook	6.4.5
numba	0.55.1	numpy	1.20.3	oauthlib	3.2.0
opt-einsum	3.3.0	empacotamento	21,0	Pandas	1.3.4
pandas-profiling	3.1.0	pandocfilters	1.4.3	paramiko	2.9.2
parso	0.8.2	patia	0.6.1	patsy	0.5.2
petastorm	0.11.4	pexpect	4.8.0	phik	0.12.2
pickleshare	0.7.5	Almofada	8.4.0	pip	21.2.4
platformdirs	2.5.2	enredo	5.6.0	pmdarima	1.8.5
If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated.	3.0.6	prompt-toolkit	3.0.20	profeta	1.0.1
protobuf	3.19.4	psutil	5.8.0	psycopg2	2.9.3
ptyprocess	0.7.0	Pyarrow	7.0.0	pyasn1	0.4.8
pyasn1-modules	0.2.8	pybind11	2.9.2	pycparser	2,20
pydantic	1.8.2	Pygments	2.10.0	PyGObject	3.36.0
PyMeeus	0.5.11	PyNaCl	1.5.0	pyodbc	4.0.31
pyparsing	3.0.4	pyrsistent	0.18.0	pystan	2.19.1.1
python-apt	2.0.0+ubuntu0.20.4.7	python-dateutil	2.8.2	editor de Python	1.0.4
Pytz	2021.3	PyWavelets	1.1.1	PyYAML	6,0
pyzmq	22.2.1	regex	2021.8.3	requests	2.26.0
requests-oauthlib	1.3.1	requests-unixsocket	0.2.0	rsa	4.8
s3transfer	0.5.2	sacremoses	0.0.53	scikit-aprender	0.24.2
scipy	1.7.1	seaborn (biblioteca de visualização em Python)	0.11.2	Send2Trash	1.8.0
Ferramentas de configuração	58.0.4	setuptools-git	1.2	shap	0.40.0
simplejson	3.17.6	seis	1.16.0	segmentação	0.0.7
smart-open	5.2.1	smmap	5.0.0	espaçoso	3.2.3
spacy-legacy	3.0.9	spacy-loggers	1.0.2	spark-tensorflow-distributor	1.0.0
sqlparse	0.4.2	srsly	2.4.3	ssh-import-id	5.10
statsmodels (biblioteca para modelos estatísticos em Python)	0.12.2	tabulate	0.8.9	tangled-up-in-unicode	0.1.0
tenacidade	8.0.1	Tensorboard	2.8.0	tensorboard-data-server	0.6.1
tensorboard-plugin-profile	2.5.0	tensorboard-plugin-wit	1.8.1	TensorFlow	2.8.0
tensorflow-estimator	2.8.0	tensorflow-io-gcs-filesystem	0.25.0	termcolor	1.1.0
terminado	0.9.4	caminho de teste	0.5.0	tf-estimator-nightly	2.8.0.dev2021122109
thinc	8.0.15	threadpoolctl	2.2.0	criadores de token	0.12.1
lanterna	1.11.0+cu113	visão de tocha	0.12.0+cu113	tornado	6.1
tqdm	4.62.3	traitlets	5.1.0	Transformadores	4.17.0
Typer	0.4.1	extensões de digitação	3.10.0.2	ujson	4.0.2
atualizações não supervisionadas	0.1	urllib3	1.26.7	virtualenv	20.8.0
visões	0.7.4	wasabi	0.9.1	wcwidth	0.2.5
codificações web	0.5.1	websocket-client (cliente WebSocket)	1.3.1	Ferramentas	2.0.2
wheel	0.37.0	widgetsnbextension	3.6.0	embrulhado	1.12.1
xgboost	1.5.2	zipp	3.6.0

Pacotes spark que contêm módulos Python

Pacote do Spark	Módulo Python	Versão
grafframes	grafframes	0.8.2-db1-spark3.2

Bibliotecas de R

As bibliotecas do R são idênticas às bibliotecas do R do Databricks Runtime 11.0.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 11.0, o Databricks Runtime 11.0 ML contém os seguintes JARs:

Clusters de CPU

ID do grupo	ID do artefato	Versão
com.typesafe.akka	akka-actor_2.12	2.5.23
ml.combust.mleap	mleap-databricks-runtime_2.12	0.18.1-23eb1ef
ml.dmlc	xgboost4j-spark_2.12	1.5.2
ml.dmlc	xgboost4j_2.12	1.5.2
org.graphframes	graphframes_2.12	0.8.2-db1-spark3.2
org.mlflow	mlflow-client	1.26.0
org.mlflow	mlflow-spark	1.26.0
org.scala-lang.modules	scala-java8-compat_2.12	0.8.0
org.tensorflow	spark-tensorflow-connector_2.12	1.15.0

Clusters de GPU

ID do grupo	ID do artefato	Versão
com.typesafe.akka	akka-actor_2.12	2.5.23
ml.combust.mleap	mleap-databricks-runtime_2.12	0.18.1-23eb1ef
ml.dmlc	xgboost4j-spark_2.12	1.5.2
ml.dmlc	xgboost4j_2.12	1.5.2
org.graphframes	graphframes_2.12	0.8.2-db1-spark3.2
org.mlflow	mlflow-client	1.26.0
org.mlflow	mlflow-spark	1.26.0
org.scala-lang.modules	scala-java8-compat_2.12	0.8.0
org.tensorflow	spark-tensorflow-connector_2.12	1.15.0

Comentários

Esta página foi útil?

Last updated on 2026-04-11