Databricks Runtime 10.5 per Machine Learning (EoS)

Databricks Runtime 10.5 per Machine Learning è un ambiente pronto all’uso ottimizzato per l'esecuzione di processi di apprendimento automatico e data science basato su Databricks Runtime 10.5 (EoS). Databricks Runtime ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche l'addestramento distribuito di deep learning utilizzando Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Machine Learning di Databricks Runtime, vedere Intelligenza artificiale e Machine Learning in Databricks.

Miglioramenti e nuove funzionalità

Databricks Runtime 10.5 ML è basato su Databricks Runtime 10.5. Per informazioni sulle novità di Databricks Runtime 10.5, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 10.5 (EoS).

Miglioramenti a AutoML

Sono stati apportati i miglioramenti seguenti a AutoML.

• Il miglioramento dell'utilizzo della memoria consente a AutoML di eseguire il training su set di dati di dimensioni maggiori.
• Con la previsione autoML, è ora possibile esportare le stime del modello migliore in una tabella usando l'API. Se output_database viene specificato, AutoML salva le stime del modello migliore in una nuova tabella nel database specificato. Ae output_database non viene specificato, le stime non vengono salvate.

Miglioramenti a Databricks Feature Store

Sono stati apportati i miglioramenti seguenti a Databricks Feature Store.

• È ora possibile eliminare una tabella delle funzionalità esistente con l'API drop_table. Questa azione elimina anche la tabella Delta sottostante.
• È ora possibile usare l'API Python per aggiungere un tag a una tabella delle funzionalità quando viene creato o registrato e per aggiungere, aggiornare, eliminare o leggere tag nelle tabelle delle funzionalità esistenti.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 10.5 ML differisce da Databricks Runtime 10.5 come indicato di seguito:

• DBUtils: La Databricks Runtime ML non include l'utilità della libreria (dbutils.library) (legacy). Utilizzare i comandi %pip invece. Consulta Librerie Python a livello di notebook.
• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 10.5 ML che differiscono da quelle incluse in Databricks Runtime 10.5.

Contenuto della sezione:

• Librerie di livello superiore
• Librerie Python
• Librerie R
• Librerie Java e Scala (cluster Scala 2.12)

Librerie di livello superiore

Databricks Runtime 10.5 ML include le librerie di livello superiore seguenti:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (connettore per Spark e TensorFlow)
• TensorFlow
• TensorBoard

Librerie Python

Databricks Runtime 10.5 ML usa Virtualenv per la gestione dei pacchetti Python e include molti dei pacchetti ML più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 10.5 ML include anche i pacchetti seguenti:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db6
• feature_store 0.4.1
• automl 1.8.0

Librerie Python nei cluster di CPU

Librerie Python nei cluster GPU

Pacchetti Spark contenenti moduli Python

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 10.5.

Librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 10.5, Databricks Runtime 10.5 ML contiene i file JAR seguenti:

Cluster di CPU

Cluster GPU