Databricks Runtime 10.4 LTS para Machine Learning (EoS)

O Databricks Runtime 10.4 LTS para Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base em Databricks Runtime 10.4 LTS (EoS). O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e aprendizado de máquina no Databricks.

Novos recursos e aprimoramentos

O Databricks Runtime 10.4 LTS ML é construído sobre o Databricks Runtime 10.4 LTS. Para obter informações sobre as novidades no Databricks Runtime 10.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 10.4 LTS (EoS ).

Aprimoramentos no AutoML

Os aprimoramentos a seguir foram feitos no AutoML.

O AutoML está em disponibilidade geral

A partir do Databricks Runtime 10.4 LTS ML, o AutoML está em disponibilidade geral.

Imputação de valores ausentes

Agora é possível especificar como os valores nulos são imputados. Por padrão, o AutoML seleciona um método de imputação com base no tipo de coluna e no conteúdo. Consulte Imputar valores ausentes para obter detalhes.).

Seleção de coluna na interface do usuário

Para problemas de classificação e regressão, agora você pode usar a interface do usuário além da API para especificar colunas que o AutoML deve ignorar durante os cálculos. Consulte Seleção de coluna.

Novo tipo de dados

O AutoML agora dá suporte a tipos de matriz numérica.

Local personalizado de notebooks e experimentos gerados

Agora você pode especificar um local no workspace em que o AutoML deve salvar os notebooks e experimentos gerados. Use o parâmetro experiment_dir. Consulte Referência da API de Python AutoML.

Melhorias no Databricks Feature Store

Foram feitos os seguintes aprimoramentos no Databricks Feature Store.

• Agora você pode registrar uma tabela Delta existente como uma tabela de recursos.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 10.4 LTS ML difere do Databricks Runtime 10.4 LTS nos seguintes pontos:

• DBUtils: o Databricks Runtime ML não inclui o Utilitário de biblioteca (dbutils.library) (herdado). Utilize os comandos %pip em vez disso. Consulte Bibliotecas Python no escopo do Notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 10.4 LTS ML que diferem das incluídas no Databricks Runtime 10.4 LTS.

Nesta seção:

• Bibliotecas de camada superior
• bibliotecas Python
• Bibliotecas do R
• Bibliotecas Java e Scala (Scala 2.12 cluster)

Bibliotecas de camada superior

O Databricks Runtime 10.4 LTS para ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

bibliotecas de Python

O Databricks Runtime 10.4 LTS ML usa o Virtualenv para Python gerenciamento de pacotes e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 10.4 LTS para ML também inclui os seguintes pacotes:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.8
• automl 1.7.2

bibliotecas Python em clusters de CPU

Para reproduzir o ambiente de Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-10.4.txt e execute pip install -r requirements-10.4.txt. Esse comando instala todas as bibliotecas open source que o Databricks Runtime ML usa, mas não instala Azure Databricks bibliotecas desenvolvidas, como databricks-automl, databricks-feature-store ou o fork do Databricks de hyperopt.

bibliotecas Python em clusters de GPU

Pacotes spark que contêm módulos Python

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 10.4 LTS.

bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 10.4 LTS, o Databricks Runtime 10.4 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU