Databricks Runtime 12.0 für Machine Learning (EoS)

Databricks Runtime 12.0 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 12.0 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.

Neue Features und Verbesserungen

Databricks Runtime 12.0 ML basiert auf Databricks Runtime 12.0. Informationen zu den Neuerungen in Databricks Runtime 12.0, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 12.0 (EoS).

Verbesserungen an AutoML

• Vorhersagemodelle können jetzt optional nationale Feiertage einschließen.
• Vorhersage unterstützt jetzt monatliche, vierteljährliche und jährliche Frequenzen.
• AutoML kann jetzt größere Datasets für das Training verwenden. AutoML weist automatisch weitere CPU-Kerne für große Datasets zu.

Weitere Informationen zu AutoML finden Sie unter Was ist AutoML?.

MLflow 2.0

Databricks Runtime 12.0 ML enthält MLflow 2.0. MLflow 2.0 baut auf der starken Plattform-Foundation von MLflow auf und integriert umfangreiches Benutzerfeedback, um Data Science-Workflows zu vereinfachen und innovative erstklassige Tools für MLOps bereitzustellen. Zu den Features und Verbesserungen gehören Erweiterungen für MLflow-Rezepte (früher MLflow Pipelines) wie AutoML, Hyperparameteroptimierung und Klassifizierungsunterstützung sowie moderne Integrationen mit dem ML-Ökosystem, eine optimierte MLflow Tracking UI, eine Aktualisierung der Kern-APIs in den Plattformkomponenten von MLflow und vieles mehr. Weitere Informationen finden Sie in der Dokumentation zu MLflow 2.0 oder in diesem Blogbeitrag.

scikit-learn 1.0

Databricks Runtime ML 12.0 enthält Version 1.0 von scikit-learn. Lesen Sie die scikit-learn-Dokumentation, um mehr über Änderungen ab diesem Scikit-learn-Release zu erfahren.

Systemumgebung

Die Systemumgebung in Databricks Runtime 12.0 ML unterscheidet sich wie folgt von Databricks Runtime 12.0:

• DBUtils: Databricks Runtime ML enthält kein Bibliothekshilfsprogramm (dbutils.library) (veraltet). Verwenden Sie stattdessen %pip-Befehle. Siehe Notebook-bezogenen Python-Bibliotheken.
• Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Databricks Runtime 12.0 ML enthält XGBoost 1.6.2, das keine GPU-Cluster mit Computefunktion 5.2 und niedriger unterstützt.

Bibliotheken

In den folgenden Abschnitten werden die in Databricks Runtime 12.0 ML enthaltenen Bibliotheken aufgeführt, die sich von denen unterscheiden, die in Databricks Runtime 12.0 enthalten sind.

Inhalt dieses Abschnitts:

• Bibliotheken der obersten Ebene
• Python-Bibliotheken
• R-Bibliotheken
• Java- und Scala-Bibliotheken (Scala 2.12 Cluster)

Bibliotheken der obersten Ebene

Databricks Runtime 12.0 ML enthält die folgenden erstklassigen Bibliotheken:

• GraphFrames
• Horovod und HorovodRunner
• MLflow
• PyTorch
• Spark-Tensorflow-Verbinder
• TensorFlow
• TensorBoard
• scikit-learn

Python-Bibliotheken

Databricks Runtime 12.0 ML verwendet Virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 12.0 ML auch die folgenden Pakete:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• automl 1.14.1

Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-12.0.txt herunter, und führen Sie pip install -r requirements-12.0.txt aus. Dieser Befehl installiert alle Open Source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-store, oder die Databricks-Verzweigung von hyperopt.

Python-Bibliotheken auf CPU-Clustern

Python Bibliotheken auf GPU-Clustern

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 12.0.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 12.0 enthält Databricks Runtime 12.0 ML die folgenden JARs:

Rechencluster

GPU-Cluster