Databricks Runtime 13.1 para Machine Learning (EoS)

O Databricks Runtime 13.1 para Machine Learning fornece um ambiente pronto para uso para machine learning e ciência de dados com base em Databricks Runtime 13.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e Machine Learning no Databricks.

Novos recursos e melhorias

O Databricks Runtime 13.1 ML foi desenvolvido com base no Databricks Runtime 13.1. Para obter informações sobre as novidades no Databricks Runtime 13.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 13.1 (EoS ).

Alterações no Feature Store do Databricks

No Databricks Runtime 13.1 ML e superior, em repositórios MySQL, publish_table usa o tipo LONGTEXT para dados de cadeia de caracteres em tabelas de recursos. Se você publicar uma tabela usando o Databricks Runtime 13.1 ML e precisar gravar nela usando o Databricks Runtime 13.0 ou inferior, deverá usar publish_table no modo de substituição ou remover e publicar novamente a tabela online.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 13.1 ML é diferente do Databricks Runtime 13.1 nestes aspectos:

• DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Em vez disso, utilize os comandos %pip. Consulte Bibliotecas Python no escopo do Notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

O Databricks Runtime 13.1 ML inclui o XGBoost 1.7.5, que não tem suporte para clusters de GPU com capacidade de computação 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 13.1 ML que são diferentes daquelas incluídas no Databricks Runtime 13.1.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 13.1 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

O Databricks Runtime 13.1 ML usa o Virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

As seguintes bibliotecas de Python foram introduzidas com o Databricks Runtime 13.1 ML:

• langchain
• librosa
• pytesseract
• sentencepiece
• transformadores de frase
• arquivo de som
• tiktoken

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 13.1 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.18.0

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-13.1.txt e execute pip install -r requirements-13.1.txt. Esse comando instala todas as bibliotecas de open source que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de CPU

bibliotecas Python em clusters de GPU

Bibliotecas de R

As bibliotecas R são idênticas às Bibliotecas R do Databricks Runtime 13.1.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 13.1, o Databricks Runtime 13.1 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU