Databricks Runtime 15.3 para Machine Learning (EoS)

O Databricks Runtime 15.3 para Machine Learning fornece um ambiente prontoto-go para machine learning e ciência de dados com base em Databricks Runtime 15.3 (EoS). O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Novos recursos e aprimoramentos

O Databricks Runtime 15.3 ML é criado com base no Databricks Runtime 15.3. Para obter informações sobre as novidades no Databricks Runtime 15.3, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.3 (EoS ).

Divisões manuais de dados e pesos de amostra do AutoML

O AutoML agora oferece suporte a divisões manuais de dados, permitindo que você especifique conjuntos de dados de treinamento, validação e teste, linha por linha, para modelos de classificação e regressão. Consulte Dividir dados em conjuntos de treinamento, validação e teste.

O AutoML agora dá suporte a pesos de exemplo, permitindo que você ajuste a importância de cada linha durante o treinamento do modelo de regressão. Para obter mais informações, consulte os parâmetros regressão da API de Python AutoML.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.3 ML difere do Databricks Runtime 15.3 da seguinte maneira:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.3 ML que diferem daquelas incluídas no Databricks Runtime 15.3.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 15.3 ML inclui as seguintes bibliotecas de camada superior:

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• transformadores

bibliotecas de Python

O Databricks Runtime 15.3 ML usa virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.3 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.27.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-15.3.txt e execute pip install -r requirements-15.3.txt. Esse comando instala todas as bibliotecas de open source que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineering ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de CPU

bibliotecas Python em clusters de GPU

Bibliotecas do R

As bibliotecas R são idênticas às Bibliotecas R no Databricks Runtime 15.3.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.3, o Databricks Runtime 15.3 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU