Databricks Runtime 14.1 voor Machine Learning (EoS)

Databricks Runtime 14.1 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 14.1 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Nieuwe functies en verbeteringen

Databricks Runtime 14.1 ML is gebouwd op databricks Runtime 14.1. Zie de releaseopmerkingen van Databricks Runtime 14.1, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 14.1 (EoS ).

Verbeteringen aan AutoML

AutoML-notebooks zijn nu opgeslagen als MLflow-artefacten.

Verbeteringen in Databricks Feature Store

U kunt nu automatisch een invoervoorbeeld afleiden en vastleggen wanneer u een model aanmeldt. Hiervoor stelt u infer_model_example in op True wanneer u log_modelbelt. Het voorbeeld is gebaseerd op de trainingsgegevens die zijn opgegeven in de training_set parameter.

Zie Databricks Feature Store voor meer informatie over Databricks Feature Store.

Systeemomgeving

De systeemomgeving in Databricks Runtime 14.1 ML verschilt als volgt van Databricks Runtime 14.1:

• DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd). Gebruik in plaats daarvan %pip opdrachten. Zie Notebook-scoped Python libraries.
• Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
  • CUDA 11.8
  • cuDNN 8.9.0.131-1
  • NCCL 2.15.5
  • TensorRT 8.5.3-1

Databricks Runtime 14.1 ML bevat XGBoost 1.7.6, die geen ONDERSTEUNING biedt voor GPU-clusters met rekencapaciteit 5.2 en lager.

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 14.1 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 14.1.

In deze sectie:

• Topbibliotheken
• Python bibliotheken
• R-bibliotheken
• Java- en Scala-bibliotheken (Scala 2.12-cluster)

Hoogwaardige bibliotheken

Databricks Runtime 14.1 ML bevat de volgende bibliotheken van topkwaliteit:

• GraphFrames
• Horovod en HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Python bibliotheken

Databricks Runtime 14.1 ML maakt gebruik van Virtualenv voor Python pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 14.1 ML ook de volgende pakketten:

• hyperopt 0.2.7+db4
• sparkdl-3.0.0_db1
• automl 1.22.0

Als u de Databricks Runtime ML-Python-omgeving in uw lokale Python virtuele omgeving wilt reproduceren, downloadt u het bestand requirements-14.1.txt en voert u pip install -r requirements-14.1.txt uit. Met deze opdracht worden alle open source bibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-store of de Databricks-fork van hyperopt.

Python bibliotheken op CPU-clusters

Python bibliotheken op GPU-clusters

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 14.1.

Java en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 14.1 bevat Databricks Runtime 14.1 ML de volgende JAR's:

CPU-clusters

GPU-clusters