Databricks Runtime 10.5 para Aprendizagem Automática (EoS)

O Databricks Runtime 10.5 para Aprendizagem Automática fornece um ambiente pronto para uso em machine learning e ciência de dados baseado em Databricks Runtime 10.5 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 10.5 ML é construído sobre o Databricks Runtime 10.5. Para obter informações sobre o que há de novo no Databricks Runtime 10.5, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 10.5 (EoS ).

Melhorias no AutoML

Os seguintes aprimoramentos foram feitos no AutoML.

• O uso aprimorado da memória permite que o AutoML treine em conjuntos de dados maiores.
• Com a previsão do AutoML, agora você pode exportar as melhores previsões do modelo para uma tabela usando a API. Se output_database for fornecido, o AutoML salvará as previsões do melhor modelo em uma nova tabela no banco de dados especificado. As previsões não são salvas se output_database não for especificado.

Aperfeiçoamentos no Databricks Feature Store

Os seguintes aprimoramentos foram feitos no Databricks Feature Store.

• Agora você pode excluir uma tabela de recursos existente com a drop_table API. Esta ação também elimina a tabela Delta subjacente.
• Agora pode usar a API Python para adicionar uma etiqueta a uma tabela de funcionalidades quando a cria ou regista, e para adicionar, atualizar, eliminar ou ler etiquetas em tabelas de funcionalidades existentes.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 10.5 ML difere do Databricks Runtime 10.5 da seguinte forma:

• DBUtils: o Databricks Runtime ML não inclui o utilitário de biblioteca (dbutils.library) (legado). Em vez disso, use comandos %pip. Ver Bibliotecas de Python com âmbito de notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 10.5 ML que diferem daquelas incluídas no Databricks Runtime 10.5.

Nesta secção:

• Bibliotecas de nível superior
• Python bibliotecas
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 10.5 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• Spark-TensorFlow Connector
• TensorFlow
• TensorBoard

Bibliotecas Python

O Databricks Runtime 10.5 ML utiliza o Virtualenv para gestão de pacotes em Python e inclui muitos pacotes populares de ML.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 10.5 ML também inclui os seguintes pacotes:

• hiperopt 0.2.7.db1
• SparkDL 2.2.0-DB6
• feature_store 0.4.1
• AutoML 1.8.0 |

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters de GPU

Pacotes Spark contendo módulos Python

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 10.5.

Bibliotecas Java e Scala (cluster Scala 2.12)

Para além das bibliotecas Java e Scala no Databricks Runtime 10.5, o Databricks Runtime 10.5 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU