Databricks Runtime 10.4 LTS para Machine Learning (EoS)

Databricks Runtime 10.4 LTS para Machine Learning proporciona un entorno deto-go listo para machine learning y ciencia de datos basado en Databricks Runtime 10.4 LTS (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para obtener más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 10.4 LTS ML se basa en Databricks Runtime 10.4 LTS. Para obtener información sobre las novedades de Databricks Runtime 10.4 LTS, incluidas apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 10.4 LTS (EoS).

Mejoras en AutoML

Se han realizado las siguientes mejoras en AutoML.

AutoML está disponible con carácter general

A partir de Databricks Runtime 10.4 LTS ML, AutoML está disponible con carácter general.

Imputación de valores ausentes

Ahora puede especificar cómo se imputan los valores NULL. De forma predeterminada, AutoML selecciona un método de imputación basado en el tipo de columna y el contenido. Vea Imputar los valores que faltan para obtener más información).

Selección de columnas desde la interfaz de usuario

Para problemas de clasificación y regresión, ahora puede usar la interfaz de usuario además de la API a fin de especificar las columnas que AutoML debe omitir durante sus cálculos. Vea selección de columnas.

Nuevo tipo de datos

AutoML ahora admite tipos de matrices numéricas.

Ubicación personalizada de experimentos y cuadernos generados

Ahora puede especificar una ubicación en el área de trabajo donde AutoML debe guardar los experimentos y cuadernos generados. Utilice el parámetro experiment_dir. Consulte AutoML Python API reference.

Mejoras en el Feature Store de Databricks

Se han realizado las siguientes mejoras en el Almacén de características de Databricks.

• Ahora puede registrar una tabla Delta existente como tabla de características.

Entorno del sistema

El entorno del sistema de Databricks Runtime 10.4 LTS ML se diferencia del de Databricks Runtime 10.4 LTS en lo siguiente:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Vea Bibliotecas de Python con ámbito específico para notebook.
• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 10.4 LTS ML, que difieren de las incluidas en Databricks Runtime 10.4 LTS.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 10.4 LTS ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard

bibliotecas de Python

Databricks Runtime 10.4 LTS ML usa Virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 10.4 LTS ML también incluye los paquetes siguientes:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.8
• automl 1.7.2

bibliotecas de Python en clústeres de CPU

Para reproducir el entorno de ml de Databricks Runtime Python en el entorno virtual de Python local, descargue el archivo requirements-10.4.txt y ejecute pip install -r requirements-10.4.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas Azure Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de GPU

Paquetes de Spark que contienen módulos de Python

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 10.4 LTS.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de Java y las bibliotecas de Scala en Databricks Runtime 10.4 LTS, Databricks Runtime 10.4 LTS ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU