Databricks Runtime 17.0 para Machine Learning (EoS)

O Databricks Runtime 17.0 para Machine Learning fornece um ambiente pronto-para-uso para aprendizado de máquina e ciência de dados com base em Databricks Runtime 17.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando TorchDistributor, DeepSpeed e Ray.

Novos recursos e melhorias

O Databricks Runtime 17.0 ML é criado com base no Databricks Runtime 17.0. Para obter informações sobre as novidades no Databricks Runtime 17.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 17.0 (EoS ).

Agora há suporte para SparkML em clusters padrão

O Databricks Runtime 17.0 ML dá suporte ao SparkML em clusters padrão (anteriormente conhecidos como compartilhados). Para obter informações sobre clusters padrão, consulte os modos de acesso.

As seguintes limitações se aplicam ao executar o SparkML em clusters padrão:

• O tamanho máximo do modelo é de 1 GB.
• O tamanho máximo do cache do modelo por sessão é de 10 GB.
• O treinamento do modelo de árvore será interrompido mais cedo se o tamanho do modelo estiver prestes a exceder 1 GB.
• Não há suporte para os seguintes modelos SparkML:
  • DistributedLDAModel
  • FPGrowthModel

Outras alterações

XGBoost4J-Spark removido

O XGBoost4J-Spark, que foi incluído em versões anteriores do Databricks Runtime ML, não está incluído no Databricks Runtime 17.0 ML. O Databricks recomenda usar a API de Python para xgboost.spark. Consulte Treinamento distribuído de modelos XGBoost usando xgboost.spark.

O provedor de repositório online do Cosmos DB não tem mais suporte

O provedor de repositório online do Cosmos DB não é compatível com o Databricks Runtime 17.0 ML ou superior.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 17.0 ML difere do Databricks Runtime 17.0 da seguinte maneira.

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12.6
  • cublas 12.6.4.1-1
  • cusolver 11.7.1.2-1
  • cupti 12.6.80-1
  • cusparse 12.5.4.2-1
  • cuDNN 9.5.1.17-1
  • NCCL 2.26.2
  • TensorRT 10.2.0.19-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 17.0 ML que diferem daquelas incluídas no Databricks Runtime 17.0.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 17.0 ML inclui as seguintes bibliotecas de camada superior:

• Conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• streaming
• TensorFlow
• TensorBoard
• Transformadores

bibliotecas de Python

O Databricks Runtime 17.0 ML usa virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 17.0 ML também inclui os seguintes pacotes:

• automl 1.30.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-17.0.txt e execute pip install -r requirements-17.0.txt. Esse comando instala todas as bibliotecas de open source que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de CPU

bibliotecas Python em clusters de GPU

Bibliotecas de R

As bibliotecas do R são idênticas às Bibliotecas do R no Databricks Runtime 17.0.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 17.0, o Databricks Runtime 17.0 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU