Databricks Runtime 10.5 para Machine Learning (EoS)

Databricks Runtime 10.5 para Machine Learning proporciona un entorno listo para usar para aprendizaje automático y ciencia de datos basado en Databricks Runtime 10.5 (EoS). Databricks Runtime ML contiene muchas bibliotecas de aprendizaje automático populares, como TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 10.5 ML se basa en Databricks Runtime 10.5. Para obtener información sobre las novedades de Databricks Runtime 10.5, incluidos Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 10.5 (EoS).

Mejoras en AutoML

Se han realizado las siguientes mejoras en AutoML.

• El uso mejorado de memoria permite que AutoML entrene en conjuntos de datos mayores.
• Con la previsión de AutoML, ahora puede exportar las predicciones del mejor modelo a una tabla mediante la API. Si se proporciona output_database, AutoML guarda las predicciones del mejor modelo en una nueva tabla de la base de datos especificada. Si output_database no se especifica, las predicciones no se guardan.

Mejoras en el Feature Store de Databricks

Se han realizado las siguientes mejoras en el Almacén de características de Databricks.

• Ahora puede eliminar una tabla de características existente con drop_table API. Esta acción también anula la tabla Delta subyacente.
• Ahora puede usar la API Python para agregar una etiqueta a una tabla de características al crearla o registrarla y agregar, actualizar, eliminar o leer etiquetas en tablas de características existentes.

Entorno del sistema

El entorno del sistema de Databricks Runtime 10.5 ML se diferencia del de Databricks Runtime 10.5 en lo siguiente:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Vea Bibliotecas de Python con ámbito específico para notebook.
• En el caso de los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 10.5 ML, que difieren de las incluidas en Databricks Runtime 10.5.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 10.5 ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard

bibliotecas de Python

Databricks Runtime 10.5 ML usa Virtualenv para Python administración de paquetes e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 10.5 ML también incluye los siguientes:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db6
• feature_store 0.4.1
• automl 1.8.0

bibliotecas de Python en clústeres de CPU

bibliotecas de Python en clústeres de GPU

Paquetes de Spark que contienen módulos de Python

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 10.5.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 10.5, Databricks Runtime 10.5 ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU