Databricks Runtime 15.4 LTS para Machine Learning

O Databricks Runtime 15.4 LTS para aprendizado de máquina fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.4 LTS. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do TorchDistributor.

Novos recursos e melhorias

O Databricks Runtime 15.4 LTS para ML tem como base o Databricks Runtime 15.4 LTS. Para obter informações sobre as novidades no Databricks Runtime 15.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.4 LTS .

Pesos de exemplo de AutoML para classificação

O AutoML agora funciona com pesos de amostra para classificação, permitindo que você ajuste a importância de cada classe durante o treinamento do modelo de classificação. Para obter mais informações, consulte os parâmetros de classificação para a API de Python AutoML.

Alterações no cliente de Engenharia de Recursos do Databricks

A versão do databricks-feature-engineering que foi enviada com o Databricks Runtime 15.4 LTS ML é 0.6.0.

• Para computação criada em ou após 31 de março de 2025 que não está habilitada para o Photon, a versão databricks-feature-engineering instalada é 0.8.0.
• Para a computação criada a partir de 21 de julho de 2025, habilitada para Photon ou usando CPU baseada em Arm64, a versão do databricks-feature-engineering é 0.8.0.

Para obter informações sobre as novidades na API de Python para Engenharia de Recursos do Databricks, consulte as notas de versão do cliente de engenharia de características feature engineering.

Outras alterações

O Petastorm agora está obsoleto

O pacote Petastorm agora está obsoleto. As versões posteriores à versão 15.4 LTS ML não terão este pacote pré-instalado. Mosaic Streaming é o substituto recomendado para carregar grandes conjuntos de dados do armazenamento em nuvem.

O distribuidor do Spark Tensorflow agora está preterido

O pacote spark-tensorflow-distributor agora está obsoleto. As versões posteriores à versão 15.4 LTS ML não terão este pacote pré-instalado. Ray no Databricks é a substituição recomendada para o treinamento distribuído de um modelo Tensorflow ou Keras.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.4 LTS para ML difere do Databricks Runtime 15.4 LTS nestes pontos:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.4 LTS para ML que diferem daquelas incluídas no Databricks Runtime 15.4 LTS.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 15.4 LTS para ML inclui as seguintes bibliotecas de camada superior:

• Conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• transformers

bibliotecas de Python

O Databricks Runtime 15.4 LTS ML usa virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.4 LTS para ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.28.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local:

1. Baixe o arquivo apropriado requirements.txt . Consulte requirements.txt as versões de arquivo do Databricks Runtime 15.4 LTS ML.

2. Em sistemas Ubuntu, execute sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev para instalar as bibliotecas do sistema.

3. Execute a pip install -r requirements-<version>.txt> --extra-index-url https://download.pytorch.org/whl/cpu. Por exemplo, pip install -r requirements-15.4-v3.txt --extra-index-url https://download.pytorch.org/whl/cpu.

   Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl ou o fork do Databricks de hyperopt ou horovod.

requirements.txt versões de arquivo do Databricks Runtime 15.4 LTS ML

Alguns pacotes foram atualizados após a versão inicial do Databricks Runtime 15.4 LTS ML. Use a tabela a seguir para determinar e baixar o arquivo correto requirements.txt .

bibliotecas Python em clusters de CPU

* Para computação criada em ou após 12 de fevereiro de 2025, e que não está habilitada para Photon, mlflow-skinny será atualizada para 2.19.0. Para a computação criada em ou após 21 de julho de 2025 habilitada para o Photon ou que usa a CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

bibliotecas Python em clusters de GPU

* Para computação criada em ou após 12 de fevereiro de 2025, e que não está habilitada para Photon, mlflow-skinny será atualizada para 2.19.0. Para a computação criada em ou após 21 de julho de 2025 habilitada para o Photon ou que usa a CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 15.4 LTS.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.4 LTS, o Databricks Runtime 15.4 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU