Databricks Runtime 10.2 für ML (EoL)

Diese Version wurde von Databricks im Dezember 2021 veröffentlicht.

Databricks Runtime 10.2 für Machine Learning bietet eine ready-to-go Umgebung für maschinelles Lernen und Data Science basierend auf Databricks Runtime 10.2 (EoL). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.

Neue Features und Verbesserungen

Databricks Runtime 10.2 ML basiert auf Databricks Runtime 10.2. Informationen zu den Neuerungen in Databricks Runtime 10.2, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 10.2 (EoL).

Databricks-Autologging (Öffentliche Vorschau)

Databricks Autologging befindet sich jetzt in öffentlicher Vorschau in allen Regionen. Die automatische Databricks-Protokollierung ist eine Lösung ohne Programmieraufwand, die eine automatische Nachverfolgung von Experimenten für Machine Learning-Trainingssitzungen in Azure Databricks ermöglicht. Mit Databricks Autologging werden Modellparameter, Metriken, Dateien und Linieninformationen automatisch erfasst, wenn Sie Modelle mit einer Vielzahl beliebter Machine Learning-Bibliotheken trainieren. Trainingssitzungen werden als MLflow Tracking Runs aufgezeichnet. Modelldateien werden auch nachverfolgt, sodass Sie sie problemlos in der MLflow-Modellregistrierung protokollieren und für die Bewertung in Echtzeit mithilfe der MLflow-Modellbereitstellung bereitstellen können.

Weitere Informationen zur automatischen Datenverarbeitung in Databricks finden Sie unter Automatische Databricks-Datenverarbeitung.

Verbesserungen an AutoML

Die folgenden Verbesserungen wurden an AutoML vorgenommen.

• AutoML ignoriert Spalten, die nur über einen einzelnen Wert verfügen.
• Bei Klassifizierungs- und Regressionsproblemen kann die Zeitspalte, die verwendet wird, um das Dataset chronologisch in Trainings-, Validierungs- und Testsätze aufzuteilen, vom Typ Zeichenfolge sein. Bisher wurden nur Zeitstempel und ganze Zahlen unterstützt. Ausführliche Informationen finden Sie unter Aufteilen von Daten in Trainings-/Validierungs-/Testsätze.

Verbesserungen am Featurespeicher von Databricks

Die folgenden Verbesserungen wurden an Databricks Feature Store vorgenommen.

Vereinfachte FeatureStoreClient Schnittstelle

Die FeatureStoreClient-Schnittstelle wurde vereinfacht.

• FeatureStoreClient.create_feature_table() ist veraltet. Verwenden Sie stattdessen FeatureStoreClient.create_table().
• FeatureStoreClient.get_feature_table() ist veraltet. Verwenden Sie stattdessen FeatureStoreClient.get_table().
• Alle Argumente außer FeatureStoreClient.publish_table()name und online_store müssen als Schlüsselwortargumente übergeben werden.

Nur ausgewählte Spalten in Onlineshops veröffentlichen

Das Databricks-Feature Store unterstützt jetzt nur die Veröffentlichung ausgewählter Spalten in einem Onlineshop. Weitere Informationen finden Sie unter Veröffentlichen ausgewählter Features in einem Onlineshop.

Wichtige Änderungen an der Databricks Runtime ML Python-Umgebung

Die Automatisierte MLflow-Nachverfolgungsintegration für Apache Spark MLlib, die in Databricks Runtime 10.1 ML veraltet war, ist jetzt standardmäßig in Databricks Runtime 10.2 ML deaktiviert. Sie wurde durch die PySpark ML Autologging-Integration von MLflow ersetzt, die standardmäßig mit Databricks Autologging aktiviert ist. Bei der automatischen Protokollierung werden zusätzliche Informationen erfasst, die über das hinausgingen, was die automatisierte MLflow-Nachverfolgung für MLlib erfasst hat, einschließlich der Parameter, Metriken und Artefakte, die dem besten Modell zugeordnet sind.

Python-Pakete, die ein Upgrade erhalten haben

• databricks-cli 0.14.3 => 0.16.2
• keras 2.6.0 => 2.7.0
• lightgbm 3.3.0 => 3.3.1
• mlflow 1.21.0 => 1.22.0
• plotly 5.3.0 => 5.3.1
• SHAP 0.39.0 => 0.40.0
• Spacy 3.1.3 => 3.2.0
• TensorBoard 2.6.0 => 2.7.0
• Tensorflow 2.6.0 => 2.7.0
• Taschenlampe 1.9.1 => 1.10.0
• torchvision 0.10.1 => 0.11.1
• Transformatoren 4.11.3 => 4.12.3
• xgboost 1.4.2 => 1.5.0

Systemumgebung

Die Systemumgebung der Databricks Runtime 10.2 ML unterscheidet sich wie folgt von der Databricks Runtime 10.2:

• DBUtils: Databricks Runtime ML enthält kein Bibliotheksdienstprogramm (dbutils.library) (veraltet). Verwenden Sie stattdessen %pip-Befehle. Informationen finden Sie unter Notebook-spezifische Python-Bibliotheken.
• Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotheken

In den folgenden Abschnitten sind die Bibliotheken aufgelistet, die in Databricks Runtime 10.2 ML enthalten sind und sich von den in Databricks Runtime 10.2 enthaltenen Bibliotheken unterscheiden.

Inhalt dieses Abschnitts:

• Bibliotheken der obersten Ebene
• Python-Bibliotheken
• R-Bibliotheken
• Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Bibliotheken der obersten Ebene

Databricks Runtime 10.2 ML enthält die folgenden Bibliotheken der obersten Ebene:

• GraphFrames
• Horovod und HorovodRunner
• MLflow
• PyTorch
• Spark-Tensorflow-Verbinder
• TensorFlow
• TensorBoard

Python-Bibliotheken

Databricks Runtime 10.2 ML verwendet Virtualenv zur Verwaltung von Python-Paketen und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, enthält Databricks Runtime 10.2 ML auch die folgenden Pakete:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.6
• automl 1.5.0

Python-Bibliotheken in CPU-Clustern

Python-Bibliotheken für GPU-Cluster

Spark-Pakete mit Python-Modulen

R-Bibliotheken

Die R-Bibliotheken sind mit den R-Bibliotheken in Databricks Runtime 10.2 identisch.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 10.2 enthält Databricks Runtime 10.2 ML die folgenden JAR-Dateien:

CPU-Cluster

GPU-Cluster