Databricks Runtime 14.1 para Machine Learning (EoS)

Databricks Runtime 14.1 para aprendizaje automático proporciona un entorno listo para usar para aprendizaje automático y ciencia de datos basado en Databricks Runtime 14.1 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 14.1 ML se basa en Databricks Runtime 14.1. Para obtener información sobre las novedades de Databricks Runtime 14.1, incluidas Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 14.1 (EoS).

Mejoras en AutoML

Los cuadernos generados por AutoML ahora se guardan como artefactos de MLflow.

Mejoras en el Feature Store de Databricks

Ahora puede deducir y registrar automáticamente un ejemplo de entrada al registrar un modelo. Para ello, establezca infer_model_example en True cuando llame a log_model. El ejemplo se basa en los datos de entrenamiento especificados en el parámetro training_set.

Para obtener más información sobre El almacén de características de Databricks, consulte Almacén de características de Databricks.

Entorno del sistema

El entorno del sistema de Databricks Runtime 14.1 ML se diferencia del de Databricks Runtime 14.1 en los siguientes aspectos:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Vea Bibliotecas de Python con ámbito específico para notebook.
• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.8
  • cuDNN 8.9.0.131-1
  • NCCL 2.15.5
  • TensorRT 8.5.3-1

Databricks Runtime 14.1 ML incluye XGBoost 1.7.6, que no admite clústeres de GPU con capacidad de proceso 5.2 ni versiones anteriores.

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 14.1 ML que difieren de las incluidas en Databricks Runtime 14.1.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 14.1 ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

Databricks Runtime 14.1 ML usa Virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las siguientes secciones, Databricks Runtime 14.1 ML también incluye estos paquetes:

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.22.0

Para reproducir el entorno de Databricks Runtime para ML en su entorno virtual de Python local, descargue el archivo requirements-14.1.txt y ejecute pip install -r requirements-14.1.txt. Este comando instala todas las bibliotecas de open source que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 14.1.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de Java y las bibliotecas de Scala en Databricks Runtime 14.1, Databricks Runtime 14.1 ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU