Databricks Runtime 13.0 para Machine Learning (EoS)

O Databricks Runtime 13.0 para Machine Learning oferece um ambiente pronto a usar para aprendizagem automática (machine learning) e ciência de dados baseado no Databricks Runtime 13.0 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 13.0 ML é construído sobre o Databricks Runtime 13.0. Para obter informações sobre o que há de novo no Databricks Runtime 13.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 13.0 (EoS ).

Alterações ao AutoML

No Databricks Runtime 13.0 ML e superior, o AutoML não é suportado para espaços de trabalho com conformidade com FedRAMP .

Para obter mais informações sobre AutoML, consulte O que é AutoML?.

Aperfeiçoamentos no Databricks Feature Store

Em espaços de trabalho habilitados para Unity Catalog em um cluster que executa o Databricks Runtime 13.0 ML ou superior, você pode publicar tabelas de recursos do espaço de trabalho e do Catálogo Unity em lojas online do Cosmos DB.

Para obter mais informações sobre o Databricks Feature Store, consulte Databricks Feature Store.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 13.0 ML difere do Databricks Runtime 13.0 da seguinte maneira:

• DBUtils: o Databricks Runtime ML não inclui o utilitário de biblioteca (dbutils.library) (legado). Em vez disso, use comandos %pip. Ver Bibliotecas de Python com âmbito de notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

O Databricks Runtime 13.0 ML inclui o XGBoost 1.7.2, que não suporta clusters de GPU com capacidade de computação 5.2 e inferior.

O pacote miniconda foi removido do Databricks Runtime 13.0 ML.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 13.0 ML que diferem daquelas incluídas no Databricks Runtime 13.0.

Nesta secção:

• Bibliotecas de nível superior
• Python bibliotecas
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 13.0 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• Spark-TensorFlow Connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas Python

O Databricks Runtime 13.0 ML utiliza o Virtualenv para gestão de pacotes Python e inclui muitos pacotes populares de ML.

As seguintes bibliotecas Python foram introduzidas com o Databricks Runtime 13.0 ML:

• acelerar
• conjuntos de dados
• avaliar
• ydata-profiling

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 13.0 ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.17.0 |

Para reproduzir o ambiente Databricks Runtime ML Python no seu ambiente virtual Python local, descarregue o ficheiro requirements-13.0.txt e execute pip install -r requirements-13.0.txt. Este comando instala todas as bibliotecas open source que o Databricks Runtime ML utiliza, mas não instala as bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork Databricks de hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters de GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 13.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Para além das bibliotecas Java e Scala no Databricks Runtime 13.0, o Databricks Runtime 13.0 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU