Databricks Runtime 12.2 LTS para Machine Learning (EoS)

Databricks Runtime 12.2 LTS para Aprendizaje Automático proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 12.2 LTS (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 12.2 LTS ML se basa en Databricks Runtime 12.2 LTS. Para obtener información sobre las novedades de Databricks Runtime 12.2 LTS, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 12.2 LTS (EoS).

AutoML (aprendizaje automático automatizado)

Puede utilizar las tablas de características existentes en Almacén de características para aumentar el conjunto de datos de entrada original para los problemas de previsión de AutoML. Para obtener más información, consulte Integración del Almacén de características de AutoML.

Para obtener más información sobre AutoML, consulte ¿Qué es AutoML?.

Entorno del sistema

El entorno del sistema en Databricks Runtime 12.2 LTS ML se diferencia del de Databricks Runtime 12.2 LTS en lo siguiente:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Vea Bibliotecas de Python con ámbito específico para notebook.
• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Databricks Runtime 12.2 ML incluye XGBoost 1.7.2, que no admite clústeres de GPU con capacidad de proceso 5.2 e inferiores.

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 12.2 LTS ML, que difieren de las incluidas en Databricks Runtime 12.2 LTS.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 12.2 LTS ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

Databricks Runtime 12.2 LTS ML usa Virtualenv para Python administración de paquetes e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 12.2 LTS ML también incluye los paquetes siguientes:

• hyperopt 0.2.7+db3
• sparkdl 2.3.0-db3
• automl 1.16.0

Para reproducir el entorno de Python del Runtime de Databricks ML en el entorno virtual de Python local, descargue el archivo requirements-12.2.txt y ejecute pip install -r requirements-12.2.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 12.2 LTS.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de Java y las bibliotecas de Scala en Databricks Runtime 12.2 LTS, Databricks Runtime 12.2 LTS ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU