Databricks Runtime 11.2 para Machine Learning (EoS)

Databricks Runtime 11.2 para aprendizaje automático proporciona un entorno listo para usar para aprendizaje automático y ciencia de datos basado en Databricks Runtime 11.2 (EoS). Databricks Runtime ML contiene muchas bibliotecas de aprendizaje automático populares, como TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 11.2 ML se basa en Databricks Runtime 11.2. Para obtener información sobre las novedades de Databricks Runtime 11.2, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 11.2 (EoS).

Mejoras en AutoML

AutoML ahora tiene mejor compatibilidad con conjuntos de datos desequilibrados para problemas de clasificación. Para obtener más información, consulte Compatibilidad con conjuntos de datos desequilibrados para problemas de clasificación.

Mejoras en el Feature Store de Databricks

Se han realizado las siguientes mejoras en el Almacén de características de Databricks.

• En el caso de las tiendas en línea, los campos de usuario y contraseña han quedado en desuso. Para evitar incompatibilidades futuras, cambie todos los usos de estos campos a write_secret_prefix.

• Ahora, toda la documentación, así como la salida del cliente del almacén de características, hacen referencia a la versión del cliente (por ejemplo, 0.6.1) en lugar de a las versiones de Databricks Runtime ML (como 11.2).

Entorno del sistema

El entorno del sistema de Databricks Runtime 11.2 ML se diferencia del de Databricks Runtime 11.2 en los siguientes aspectos:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Vea Bibliotecas de Python con ámbito específico para notebook.
• En el caso de los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Bibliotecas

En las siguientes secciones, se enumeran las bibliotecas que se incluyen en Databricks Runtime 11.2 ML que difieren de las que se incluyen en Databricks Runtime 11.2.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 11.2 ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

Databricks Runtime 11.2 ML usa Virtualenv para Python administración de paquetes e incluye muchos paquetes populares de ML.

Además de los paquetes que se especifican en las siguientes secciones, los siguientes paquetes también se incluyen en Databricks Runtime 11.2 ML:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0_db6
• feature_store 0.6.0
• automl 1.12.3

bibliotecas de Python en clústeres de CPU

Para replicar el entorno ML de Databricks Runtime en su entorno virtual de Python local, descargue el archivo requirements-11.2.txt y ejecute pip install -r requirements-11.2.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Azure Databricks, como databricks-automl, databricks-feature-store o la bifurcación de hyperopt por parte de Databricks.

bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 11.2.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 11.2, Databricks Runtime 11.2 ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU