Databricks Runtime 15.3 para Machine Learning (EoS)

Databricks Runtime 15.3 para Machine Learning proporciona un entorno deto-go listo para machine learning y ciencia de datos basado en Databricks Runtime 15.3 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 15.3 ML se basa en Databricks Runtime 15.3. Para obtener información sobre las novedades de Databricks Runtime 15.3, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 15.3 (EoS).

Divisiones de datos manuales de AutoML y pesos de ejemplo

AutoML ahora admite divisiones de datos manuales que permiten especificar conjuntos de datos de entrenamiento, validación y prueba de filas para modelos de clasificación y regresión. Vea Dividir datos en conjuntos de entrenamiento, validación y pruebas.

AutoML ahora admite pesos de muestra, lo que le permite ajustar la importancia de cada fila durante el entrenamiento del modelo de regresión. Para obtener más información, consulte los parámetros de regression para la API de Python AutoML.

Entorno del sistema

El entorno del sistema en Databricks Runtime 15.3 ML difiere de Databricks Runtime 15.3 de la siguiente manera:

• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 15.3 ML que difieren de las incluidas en Databricks Runtime 15.3.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 15.3 ML incluye las siguientes bibliotecas de nivel superior:

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• transformers

bibliotecas de Python

Databricks Runtime 15.3 ML usa virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 15.3 ML también incluye los siguientes paquetes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.27.0

Para reproducir el entorno de ml de Databricks Runtime Python en el entorno virtual de Python local, descargue el archivo requirements-15.3.txt y ejecute pip install -r requirements-15.3.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-engineering o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las Bibliotecas de R en Databricks Runtime 15.3.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de Java y las bibliotecas de Scala en Databricks Runtime 15.3, Databricks Runtime 15.3 ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU