Databricks Runtime 15.4 LTS para Machine Learning

O Databricks Runtime 15.4 LTS para Machine Learning fornece um ambiente pronto para uso em aprendizagem automática e ciência de dados, baseado no Databricks Runtime 15.4 LTS. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor.

Novos recursos e melhorias

O Databricks Runtime 15.4 LTS ML é construído sobre o Databricks Runtime 15.4 LTS. Para obter informações sobre o que há de novo no Databricks Runtime 15.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.4 LTS .

Pesos de amostra AutoML para classificação

O AutoML agora suporta pesos de amostra para classificação, permitindo que você ajuste a importância de cada classe durante o treinamento do modelo de classificação. Para mais informações, consulte os parâmetros de classificação para a API AutoML Python.

Alterações no cliente Databricks Feature Engineering

A versão databricks-feature-engineering que foi fornecida com o Databricks Runtime 15.4 LTS ML é 0.6.0.

• Para computação criada em ou após 31 de março de 2025 que não está habilitada para Photon, a versão instalada do databricks-feature-engineering é 0.8.0.
• Para computação criada em ou após 21 de julho de 2025 habilitada para Photon ou usando CPU baseada em Arm64, a versão instalada do databricks-feature-engineering é 0.8.0.

Para informações sobre as novidades na API Python de Engenharia de Atributos do Databricks, consulte as notas de atualização do cliente de engenharia de atributos.

Outras alterações

Petastorm está agora obsoleta

O pacote Petastorm foi agora preterido. As versões posteriores ao 15.4 LTS ML não terão este pacote pré-instalado. O Mosaic Streaming é o substituto recomendado para carregar grandes conjuntos de dados a partir do armazenamento em nuvem.

O distribuidor Spark Tensorflow foi preterido

O spark-tensorflow-distributor pacote foi preterido. As versões posteriores ao 15.4 LTS ML não terão este pacote pré-instalado. O Ray on Databricks é o substituto recomendado para o treinamento distribuído de um modelo Tensorflow ou Keras.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.4 LTS ML difere do Databricks Runtime 15.4 LTS da seguinte forma:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,1
  • Cusolver 11.4.5.107-1
  • Cupti 12,1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.4 LTS ML que diferem daquelas incluídas no Databricks Runtime 15.4 LTS.

Nesta secção:

• Bibliotecas de nível superior
• Python bibliotecas
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 15.4 LTS ML inclui as seguintes bibliotecas de camada superior:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• conector Spark-TensorFlow
• Scikit-learn
• TensorFlow
• TensorBoard
• transformadores

Bibliotecas Python

O Databricks Runtime 15.4 LTS ML utiliza virtualenv para gestão de Python pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.4 LTS ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.28.0 |

Para reproduzir o ambiente ML Python do Databricks Runtime no seu ambiente virtual Python local:

1. Faça o download do arquivo apropriado requirements.txt . Consulte requirements.txt as versões de arquivo para Databricks Runtime 15.4 LTS ML.

2. Nos sistemas Ubuntu, execute sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev para instalar bibliotecas do sistema.

3. Executar pip install -r requirements-<version>.txt> --extra-index-url https://download.pytorch.org/whl/cpu. Por exemplo, pip install -r requirements-15.4-v3.txt --extra-index-url https://download.pytorch.org/whl/cpu.

   Este comando instala todas as bibliotecas open source que o Databricks Runtime ML utiliza, mas não instala as bibliotecas desenvolvidas pela Databricks, como databricks-automl, ou o fork Databricks de hyperopt ou horovod.

requirements.txt versões de arquivo para Databricks Runtime 15.4 LTS ML

Alguns pacotes foram atualizados após o lançamento inicial do Databricks Runtime 15.4 LTS ML. Use a tabela a seguir para determinar e baixar o arquivo correto requirements.txt .

Bibliotecas Python em clusters de CPU

* Para computação que foi criada em ou após 12 de fevereiro de 2025 e que não está habilitada para Photon, mlflow-skinny é atualizado para 2.19.0. Para computação que foi criada em ou após 21 de julho de 2025 que está habilitada para Photon ou usa CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas Python em clusters de GPU

* Para computação que foi criada em ou após 12 de fevereiro de 2025 e que não está habilitada para Photon, mlflow-skinny é atualizado para 2.19.0. Para computação que foi criada em ou após 21 de julho de 2025 que está habilitada para Photon ou usa CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.4 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.4 LTS, o Databricks Runtime 15.4 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU