Databricks Runtime 10.5 para Machine Learning (EoS)

O Databricks Runtime 10.5 para Machine Learning fornece um ambiente prontoto-go para machine learning e ciência de dados com base em Databricks Runtime 10.5 (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e Machine Learning no Databricks.

Novos recursos e melhorias

O Databricks Runtime 10.5 ML foi desenvolvido com base no Databricks Runtime 10.5. Para obter informações sobre as novidades no Databricks Runtime 10.5, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 10.5 (EoS ).

Aprimoramentos no AutoML

Os aprimoramentos a seguir foram feitos no AutoML.

• O uso aprimorado de memória permite que o AutoML treine em conjuntos de dados maiores.
• Com a previsão do AutoML, agora você pode exportar as previsões do melhor modelo para uma tabela usando a API. Se output_database for fornecido, o AutoML salvará previsões do melhor modelo para uma nova tabela no banco de dados especificado. As previsões não serão salvas se output_database não for especificado.

Aprimoramentos no Databricks Feature Store

Foram feitos os seguintes aprimoramentos no Databricks Feature Store.

• Agora você pode excluir uma tabela de recursos existente com a API drop_table. Essa ação também remove a tabela Delta subjacente.
• Agora você pode usar a API Python para adicionar uma marca a uma tabela de recursos ao criá-la ou registrá-la e adicionar, atualizar, excluir ou ler marcas em tabelas de recursos existentes.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 10.5 ML é diferente do Databricks Runtime 10.5 nestes aspectos:

• DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Em vez disso, utilize os comandos %pip. Consulte Bibliotecas Python no escopo do Notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 10.5 ML que são diferentes daquelas incluídas no Databricks Runtime 10.5.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 10.5 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

bibliotecas de Python

O Databricks Runtime 10.5 ML usa o Virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 10.5 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db6
• feature_store 0.4.1
• automl 1.8.0

bibliotecas Python em clusters de CPU

bibliotecas Python em clusters de GPU

Pacotes spark que contêm módulos Python

Bibliotecas de R

As bibliotecas do R são idênticas às bibliotecas do R do Databricks Runtime 10.5.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 10.5, o Databricks Runtime 10.5 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU