Databricks Runtime versione 11.1 per il Machine Learning (Fine del Supporto)

Databricks Runtime 11.1 per Machine Learning offre un ambiente pronto all'uso per machine learning e data science basato su Databricks Runtime 11.1 (EoS). Databricks Runtime ML contiene molte librerie di Machine Learning più diffuse, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche il training di deep learning distribuito utilizzando Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.

Nuove funzionalità e miglioramenti

Databricks Runtime 11.1 ML è basato su Databricks Runtime 11.1. Per informazioni sulle novità di Databricks Runtime 11.1, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 11.1 (EoS).

Miglioramenti a AutoML

Sono stati apportati i miglioramenti seguenti a AutoML.

• Quando AutoML rileva che un problema di classificazione è binario, calcola le metriche di classificazione binaria e deduce la classe positiva del problema. È anche possibile specificare la classe positiva usando un nuovo parametro pos_label. Per informazioni dettagliate, vedere AutoML Python API reference.
• Per i problemi di previsione, AutoML può ora gestire lo scenario in cui l'orizzonte è lungo rispetto all'intervallo di tempo dei dati di training.

Miglioramenti al Feature Store di Databricks

Sono stati apportati i miglioramenti seguenti a Databricks Feature Store.

• È ora possibile aggiornare manualmente le origini dati di una tabella delle funzionalità usando l'API di Python di Feature Store.

• È ora possibile pubblicare tabelle delle funzionalità offline in Azure Cosmos DB per la ricerca online a bassa latenza. Vedere Pubblicare le caratteristiche in un archivio online di terze parti e Pubblicare le caratteristiche delle serie temporali in un archivio online.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 11.1 ML differisce da Databricks Runtime 11.1 come indicato di seguito:

• DBUtils: Databricks Runtime ML non contiene l'utilità della libreria (dbutils.library) (legacy). Usa i comandi %pip invece. Vedi Librerie Python con ambito notebook.
• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Libraries

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 11.1 ML che differiscono da quelle incluse in Databricks Runtime 11.1.

In questa sezione:

• Librerie di livello superiore
• librerie Python
• Librerie R
• librerie Java e Scala (cluster di Scala 2.12)

Librerie di livello superiore

Databricks Runtime 11.1 ML include le librerie di livello superiore seguenti:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (connettore per Spark e TensorFlow)
• TensorFlow
• TensorBoard

librerie Python

Databricks Runtime 11.1 ML usa Virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 11.1 ML include anche i pacchetti seguenti:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db6
• feature_store 0.5.0
• automl 1.11.0

librerie Python sui cluster di CPU

librerie Python nei cluster GPU

Pacchetti Spark contenenti moduli Python

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 11.1.

librerie Java e Scala (cluster Scala 2.12)

Oltre a Java e librerie Scala in Databricks Runtime 11.1, Databricks Runtime 11.1 ML contiene i file JAR seguenti:

Cluster di CPU

Cluster di GPU