Databricks Runtime 15.0 para Aprendizado de Máquina (EoS)

O Databricks Runtime 15.0 para Aprendizado de Máquina fornece um ambiente pronto para uso para ciência de dados e aprendizado de máquina com base em Databricks Runtime 15.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Novos recursos e melhorias

O Databricks Runtime 15.0 ML foi desenvolvido com base no Databricks Runtime 15.0. Para obter informações sobre as novidades no Databricks Runtime 15.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.0 (EoS ).

Alterações críticas

A CLI herdada do Databricks não está mais instalada por padrão

No Databricks Runtime 14.3 LTS ML e versões inferiores, como a versão pré-instalada do MLflow exigia a CLI herdada do Databricks (databricks/databricks-cli), ela era instalada automaticamente em $PATH. O Databricks Runtime 15.0 ML inclui o MLflow versão 2.10.2, que não requer a CLI herdada.

A partir do Databricks Runtime 15.0 ML, a CLI herdada do Databricks não é mais instalada automaticamente no $PATH. Esta é uma alteração crítica para os usuários que dependem da CLI herdada estar instalada em tempo de execução. Comandos como %sh databricks ... não funcionam mais no Databricks Runtime 15.0 ML e superior.

Para continuar usando a CLI legada do Databricks em um notebook, instale-a como uma biblioteca de cluster ou de notebook. A nova CLI do Databricks (databricks/cli) está disponível no terminal da Web. Para obter mais informações, consulte Usar o terminal da Web e a CLI do Databricks.

O MLeap não está mais disponível a partir do Databricks Runtime 15.0 ML

O MLeap não está mais disponível no Databricks Runtime 15.0 ML e versões posteriores. Para empacotar modelos para implantação em estruturas baseadas em JVM, o Databricks recomenda usar o formato ONNX.

Depreciação de Horovod e HorovodRunner

Horovod e HorovodRunner foram preteridos. Para aprendizado profundo distribuído, o Databricks recomenda usar TorchDistributor para treinamento distribuído com PyTorch ou a API tf.distribute.Strategy para treinamento distribuído com TensorFlow. Horovod e HorovodRunner são pré-instalados no Databricks Runtime 15.0 ML, mas serão removidos na próxima versão principal do Databricks Runtime ML.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.0 ML é diferente do Databricks Runtime 15.0 nestes aspectos:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.0 ML que são diferentes daquelas incluídas no Databricks Runtime 15.0.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 15.0 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn
• (Preterido) Horovod e HorovodRunner

bibliotecas de Python

O Databricks Runtime 15.0 ML usa virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.0 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.25.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-15.0.txt e execute pip install -r requirements-15.0.txt. Esse comando instala todas as bibliotecas de open source que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de CPU

bibliotecas Python em clusters de GPU

Bibliotecas de R

As bibliotecas R são idênticas às Bibliotecas R do Databricks Runtime 15.0.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.0, o Databricks Runtime 15.0 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU