Databricks Runtime 14.1 para Machine Learning (EoS)

O Databricks Runtime 14.1 para Aprendizado de Máquina fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 14.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Novos recursos e aprimoramentos

O Databricks Runtime 14.1 ML foi desenvolvido com base no Databricks Runtime 14.1. Para obter informações sobre as novidades no Databricks Runtime 14.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 14.1 (EoS ).

Aprimoramentos no AutoML

Os notebooks gerados pelo AutoML agora são salvos como artefatos do MLflow.

Melhorias no Databricks Feature Store

Agora você pode inferir e registrar automaticamente um exemplo de entrada ao registrar um modelo no log. Para fazer isso, defina infer_model_example como True ao chamar log_model. O exemplo é baseado nos dados de treinamento especificados no parâmetro training_set.

Para obter mais informações sobre o Repositório de Recursos do Databricks, consulte o Repositório de Recursos do Databricks.

Ambiente do sistema

O ambiente do sistema do Databricks Runtime 14.1 ML é diferente do Databricks Runtime 14.1 nos seguintes aspectos:

• DBUtils: o Databricks Runtime ML não inclui o Utilitário de biblioteca (dbutils.library) (herdado). Utilize os comandos %pip em vez disso. Consulte Bibliotecas Python no escopo do Notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.8
  • cuDNN 8.9.0.131-1
  • NCCL 2.15.5
  • TensorRT 8.5.3-1

O Databricks Runtime 14.1 ML inclui o XGBoost 1.7.6, para o qual não há suporte em clusters de GPU com capacidade de computação 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 14.1 ML que são diferentes daquelas incluídas no Databricks Runtime 14.1.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 14.1 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

O Databricks Runtime 14.1 ML usa o Virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seguintes seções, o Databricks Runtime 14.1 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.22.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-14.1.txt e execute pip install -r requirements-14.1.txt. Esse comando instala todas as bibliotecas de open source que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de CPU

bibliotecas Python em clusters de GPU

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R do Databricks Runtime 14.1.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 14.1, o Databricks Runtime 14.1 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU