Databricks Runtime 14.1 für Machine Learning (EoS)

Databricks Runtime 14.1 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 14.1 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Neue Features und Verbesserungen

Databricks Runtime 14.1 ML basiert auf Databricks Runtime 14.1. Informationen zu den Neuerungen in Databricks Runtime 14.1, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 14.1 (EoS).

Verbesserungen an AutoML

Automatisch generierte Notizbücher werden jetzt als MLflow-Artefakte gespeichert.

Verbesserungen am Featurespeicher von Databricks

Sie können jetzt automatisch Rückschlüsse aus einem Eingabebeispiel ziehen und das Beispiel protokollieren, wenn Sie ein Modell protokollieren. Legen Sie dazu infer_model_example auf True fest, wenn Sie log_model aufrufen. Das Beispiel basiert auf den im Parameter training_set angegebenen Trainingsdaten.

Weitere Informationen zum Databricks Feature Store finden Sie unter Databricks Feature Store.

Systemumgebung

Die Systemumgebung in Databricks Runtime 14.1 ML unterscheidet sich wie folgt von Databricks Runtime 14.1:

• DBUtils: Databricks Runtime ML enthält kein Library Utility (dbutils.library) (legacy). Verwenden Sie stattdessen %pip-Befehle. Siehe Notebook-bezogenen Python-Bibliotheken.
• Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
  • CUDA 11.8
  • cuDNN 8.9.0.131-1
  • NCCL 2.15.5
  • TensorRT 8.5.3-1

Databricks Runtime 14.1 ML enthält XGBoost 1.7.6, das keine GPU-Cluster mit Computefunktion 5.2 und niedriger unterstützt.

Bibliotheken

In den folgenden Abschnitten werden die in Databricks Runtime 14.1 ML enthaltenen Bibliotheken aufgeführt, die sich von denen unterscheiden, die in Databricks Runtime 14.1 enthalten sind.

Inhalt dieses Abschnitts:

• Bibliotheken der obersten Ebene
• Python-Bibliotheken
• R-Bibliotheken
• Java- und Scala-Bibliotheken (Scala 2.12 Cluster)

Bibliotheken der obersten Ebene

Databricks Runtime 14.1 ML enthält die folgenden Bibliotheken der obersten Ebene:

• GraphFrames
• Horovod und HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• scikit-learn

Python-Bibliotheken

Databricks Runtime 14.1 ML verwendet Virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 14.1 ML auch die folgenden Pakete:

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.22.0

Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-14.1.txt herunter, und führen Sie pip install -r requirements-14.1.txt aus. Dieser Befehl installiert alle open source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-store, oder die Databricks-Verzweigung von hyperopt.

Python-Bibliotheken auf CPU-Clustern

Python Bibliotheken auf GPU-Clustern

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 14.1.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 14.1 enthält Databricks Runtime 14.1 ML die folgenden JARs:

CPU-Cluster

GPU-Cluster