Databricks Runtime 15.2 voor Machine Learning (EoS)

Databricks Runtime 15.2 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en data science op basis van Databricks Runtime 15.2 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Nieuwe functies en verbeteringen

Databricks Runtime 15.2 ML is gebouwd op Databricks Runtime 15.2. Zie de releaseopmerkingen van Databricks Runtime 15.2, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 15.2 (EoS ).

StreamingDataset toevoegen

StreamingDataset wordt gebruikt om zo snel, goedkoop en schaalbaar mogelijk te trainen op grote gegevenssets vanuit cloudopslag. Het is vooraf geïnstalleerd in Databricks Runtime 15.2 ML.

Photon-ondersteuning op Databricks Runtime ML-CPU-clusters

Vanaf Databricks Runtime 15.2 ML kunt u uw Spark SQL- en Spark DataFrame-workloads versnellen door Photon in te schakelen op uw CPU-cluster.

Voor machine learning-toepassingen biedt Photon snellere prestaties voor gebruiksvoorbeelden, zoals:

• Gegevensvoorbereiding met behulp van SQL of DataFrame-API.
• Functie-engineering met zoekactie naar een bepaald tijdstip.
• Grafiekanalyse met GraphFrames.

Photon verbetert niet de prestaties van Python bibliotheken, zoals TensorFlow, PyTorch en XGBoost.

Spark RDD-API's en Spark MLlib hebben beperkte compatibiliteit met Photon. Wanneer u grote gegevenssets verwerkt met behulp van Spark RDD of Spark MLlib, kunnen er problemen met Spark-geheugen optreden. Bekijk problemen met Spark-geheugen.

Systeemomgeving

De systeemomgeving in Databricks Runtime 15.2 ML verschilt als volgt van Databricks Runtime 15.2:

• Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 15.2 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 15.2.

In deze sectie:

• Eersteklas bibliotheken
• Python bibliotheken
• R-bibliotheken
• Java- en Scala-bibliotheken (Scala 2.12-cluster)

Bibliotheken van topklasse

Databricks Runtime 15.2 ML bevat de volgende topbibliotheken:

• 
  datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• Transformers

Python bibliotheken

Databricks Runtime 15.2 ML maakt gebruik van virtualenv voor Python pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 15.2 ML ook de volgende pakketten:

• hyperopt 0.2.7+db3
• sparkdl-3.0.0_db1
• automl 1.26.0

Als u de Databricks Runtime ML-Python-omgeving in uw lokale Python virtuele omgeving wilt reproduceren, downloadt u het bestand requirements-15.2.txt en voert u pip install -r requirements-15.2.txt uit. Met deze opdracht worden alle open source bibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-engineering of de Databricks-fork van hyperopt.

Python bibliotheken op CPU-clusters

Python bibliotheken op GPU-clusters

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 15.2.

Java en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 15.2 bevat Databricks Runtime 15.2 ML de volgende JAR's:

CPU-clusters

GPU-clusters