Databricks Runtime 16.0 para Machine Learning (EoS)

O Databricks Runtime 16.0 para Machine Learning fornece um ambiente pronto para uso em aprendizagem automática e ciência de dados baseado no Databricks Runtime 16.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor, DeepSpeed e Ray.

Novos recursos e melhorias

O Databricks Runtime 16.0 ML é construído sobre o Databricks Runtime 16.0. Para obter informações sobre o que há de novo no Databricks Runtime 16.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 16.0 (EoS ).

Novos pacotes Python

Os seguintes pacotes Python foram adicionados ao Databricks Runtime ML:

• compositor 0.24.1
• Optuna 3.6.1

Pesos de amostra AutoML para previsão

O AutoML agora suporta pesos de amostra para previsão, permitindo ajustar a importância de cada série temporal para treinar modelos de previsão de várias séries temporais. Para mais informações, consulte os parâmetros de previsão para a API AutoML Python.

Usar uma exibição no Unity Catalog como uma tabela de recursos

Agora você pode usar uma exibição no Unity Catalog como uma tabela de recursos. Consulte Utilizar uma vista existente no Catálogo Unity como tabela de características.

Outras alterações

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor removido

Os seguintes pacotes que foram incluídos em versões anteriores do Databricks Runtime ML não estão incluídos no Databricks Runtime 16.0 ML:

• Horovod
• HorovodRunner
• Petastorm
• spark-tensorflow-distributor

A Databricks recomenda as seguintes substituições:

• Para aprendizagem profunda distribuída, a Databricks recomenda o uso do TorchDistributor para treinamento distribuído com o PyTorch ou a API para treinamento distribuído com o tf.distribute.Strategy TensorFlow.
• Para carregar grandes conjuntos de dados do armazenamento em nuvem, o Databricks recomenda o uso do Mosaic Streaming.
• Para treinamento distribuído para um modelo TensorFlow ou Keras, a Databricks recomenda o uso do Ray. Consulte Ray on Databricks e a documentação do Ray.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 16.0 ML difere do Databricks Runtime 16.0 da seguinte maneira:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,6
  • Cublas 12.6.0.22-1
  • Cusolver 11.6.4.38-1
  • Cupti 12.6.37-1
  • cusparse 12.5.2.23-1
  • cuDNN 9.3.0.75-1
  • NCCL 2.22.3
  • TensorRT 10.2.0.19-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 16.0 ML que diferem daquelas incluídas no Databricks Runtime 16.0.

Nesta secção:

• Bibliotecas de nível superior
• Python bibliotecas
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 16.0 ML inclui as seguintes bibliotecas de camada superior:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• conector spark-tensorflow
• Scikit-learn
• streaming
• TensorFlow
• TensorBoard
• transformadores

Bibliotecas Python

O Databricks Runtime 16.0 ML utiliza virtualenv para gestão de Python pacotes e inclui muitos pacotes populares de ML.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 16.0 ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db5
• AutoML 1.29.0 |

Para reproduzir o ambiente Databricks Runtime ML Python no seu ambiente virtual Python local, descarregue o ficheiro requirements-16.0.txt e execute pip install -r requirements-16.0.txt. Este comando instala todas as bibliotecas open source que o Databricks Runtime ML utiliza, mas não instala as bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineering, ou o fork Databricks de hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters de GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 16.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Para além das bibliotecas Java e Scala no Databricks Runtime 16.0, o Databricks Runtime 16.0 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU