Databricks Runtime 11.2 para Machine Learning (EoS)

O Databricks Runtime 11.2 para Machine Learning fornece um ambiente pronto para uso para machine learning e ciência de dados baseado em Databricks Runtime 11.2 (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e Machine Learning no Databricks.

Novos recursos e melhorias

O Databricks Runtime 11.2 ML foi desenvolvido com base no Databricks Runtime 11.2. Para obter informações sobre as novidades no Databricks Runtime 11.2, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 11.2 (EoS ).

Aprimoramentos no AutoML

O AutoML agora tem melhor suporte para conjuntos de dados desequilibrados para problemas de classificação. Para obter detalhes, consulte Suporte ao conjunto de dados desequilibrado para problemas de classificação.

Aprimoramentos no Databricks Feature Store

Foram feitos os seguintes aprimoramentos no Databricks Feature Store.

• Para lojas online, os campos de usuário e senha foram preteridos. Para evitar incompatibilidades futuras, altere todos os usos desses campos para write_secret_prefix.

• Toda a documentação e saída do cliente do repositório de recursos agora se referem à versão do cliente (por exemplo, 0.6.1) em vez de versões do Databricks Runtime ML (como 11.2).

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 11.2 ML é diferente do Databricks Runtime 11.2 nestes aspectos:

• DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Em vez disso, utilize os comandos %pip. Consulte Bibliotecas Python no escopo do Notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 11.2 ML que são diferentes daquelas incluídas no Databricks Runtime 11.2.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 11.2 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

O Databricks Runtime 11.2 ML usa o Virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 11.2 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0_db6
• feature_store 0.6.0
• automl 1.12.3

bibliotecas Python em clusters de CPU

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-11.2.txt e execute pip install -r requirements-11.2.txt. Esse comando instala todas as bibliotecas open source que o Databricks Runtime ML usa, mas não instala as bibliotecas desenvolvidas pela Azure Databricks, como databricks-automl, databricks-feature-store ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de GPU

Bibliotecas de R

As bibliotecas do R são idênticas às Bibliotecas do R do Databricks Runtime 11.2.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 11.2, o Databricks Runtime 11.2 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU