Databricks Runtime 15.2 para Machine Learning (EoS)

Databricks Runtime 15.2 para Machine Learning proporciona un entorno deto-go listo para machine learning y ciencia de datos basado en Databricks Runtime 15.2 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 15.2 ML se basa en Databricks Runtime 15.2. Para obtener información sobre las novedades en Databricks Runtime 15.2, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 15.2 (EoS).

Incorporación de StreamingDataset

StreamingDataset se usa para realizar el entrenamiento en grandes conjuntos de datos desde el almacenamiento en la nube lo más rápido, barato y escalable posible. Está preinstalado en Databricks Runtime ML 15.2.

Compatibilidad con Photon en clústeres de CPU de ML en Databricks Runtime

A partir de Databricks Runtime 15.2 ML, es posible acelerar las cargas de trabajo de SQL de Spark y Spark DataFrame habilitando Photon en el clúster de CPU.

En el caso de las aplicaciones de aprendizaje automático, Photon proporciona un rendimiento más rápido para casos de uso como:

• Preparación de datos mediante la API de DataFrame o SQL.
• Ingeniería de características con la búsqueda a un momento dado.
• Análisis de grafos con GraphFrames.

Photon no mejora el rendimiento de las bibliotecas de Python, como TensorFlow, PyTorch y XGBoost.

Las API de RDD de Spark y MLlib de Spark tienen una compatibilidad limitada con Photon. Al procesar grandes conjuntos de datos mediante RDD de Spark o MLlib de Spark, podría experimentar problemas de memoria de Spark. Consulte Problemas de memoria de Spark.

Entorno del sistema

El entorno del sistema de Databricks Runtime 15.2 ML se diferencia del de Databricks Runtime 15.2 en los siguientes aspectos:

• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

En las siguientes secciones, se enumeran las bibliotecas que se incluyen en Databricks Runtime 15.2 ML, que difieren de las que se incluyen en Databricks Runtime 15.2.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 15.2 ML incluye las siguientes bibliotecas de nivel superior:

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• transformers

bibliotecas de Python

Databricks Runtime 15.2 ML usa virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las siguientes secciones, Databricks Runtime 15.2 ML también incluye estos paquetes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.26.0

Para reproducir el entorno de Databricks Runtime ML Python en su entorno virtual de Python local, descargue el archivo requirements-15.2.txt y ejecute pip install -r requirements-15.2.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-engineering o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 15.2.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 15.2, Databricks Runtime 15.2 ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU