Databricks Runtime 13.0 per Machine Learning (EoS)

Databricks Runtime 13.0 per il Machine Learning offre un ambiente pronto all'uso per il machine learning e la data science basato su Databricks Runtime 13.0 (EoS). Databricks Runtime ML contiene molte librerie di Machine Learning più diffuse, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche il training di deep learning distribuito utilizzando Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.

Nuove funzionalità e miglioramenti

Databricks Runtime 13.0 ML è basato su Databricks Runtime 13.0. Per informazioni sulle novità di Databricks Runtime 13.0, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 13.0 (EoS).

Modifiche a AutoML

In Databricks Runtime 13.0 ML e versioni successive, AutoML non è supportato per le aree di lavoro con conformità FedRAMP.

Per altre informazioni su AutoML, vedere Che cos'è AutoML?.

Miglioramenti al Feature Store di Databricks

Nelle aree di lavoro abilitate per Unity Catalog in un cluster che esegue Databricks Runtime 13.0 ML o versione successiva, è possibile pubblicare tabelle delle funzionalità sia dell'area di lavoro che di Unity Catalog negli archivi online di Cosmos DB.

Per ulteriori informazioni su Databricks Feature Store, vedere Databricks Feature Store.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 13.0 ML differisce da Databricks Runtime 13.0 come indicato di seguito:

• DBUtils: Databricks Runtime ML non contiene l'utilità della libreria (dbutils.library) (legacy). Usa i comandi %pip invece. Vedi Librerie Python con ambito notebook.
• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 11.7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

Databricks Runtime 13.0 ML include XGBoost 1.7.2, che non supporta cluster GPU con capacità di calcolo 5.2 e versioni precedenti.

Il pacchetto miniconda è stato rimosso da Databricks Runtime 13.0 ML.

Libraries

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 13.0 ML che differiscono da quelle incluse in Databricks Runtime 13.0.

In questa sezione:

• Librerie di livello superiore
• librerie Python
• Librerie R
• librerie Java e Scala (cluster di Scala 2.12)

Librerie di livello superiore

Databricks Runtime 13.0 ML include le librerie di livello superiore seguenti:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (connettore per Spark e TensorFlow)
• TensorFlow
• TensorBoard
• Scikit-learn

librerie Python

Databricks Runtime 13.0 ML usa Virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.

Le librerie di Python seguenti sono state introdotte con Databricks Runtime 13.0 ML:

• accelerare
• Insiemi di dati
• valutare
• ydata-profiling Profilatura dei dati

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 13.0 ML include anche i pacchetti seguenti:

• hyperopt 0.2.7+db3
• 3.0.0_db1 sparkdl
• automl 1.17.0

Per riprodurre l'ambiente Python ml di Databricks Runtime nell'ambiente virtuale Python locale, scaricare il file requirements-13.0.txt ed eseguire pip install -r requirements-13.0.txt. Questo comando installa tutte le librerie di open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-store o il fork databricks di hyperopt.

librerie Python sui cluster di CPU

librerie Python nei cluster GPU

Librerie R

Le librerie R sono identiche alle Librerie R in Databricks Runtime 13.0.

librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 13.0, Databricks Runtime 13.0 ML contiene i file JAR seguenti:

Cluster di CPU

Cluster di GPU