Databricks Runtime 12.2 LTS for Machine Learning (サポート終了)

注意

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks Runtime 12.2 LTS for Machine Learningは、Databricks Runtime 12.2 LTS (EoS) に基づき、マシンラーニングおよびデータサイエンス用のすぐに使用できる環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。

新機能と機能強化

Databricks Runtime 12.2 LTS ML は、Databricks Runtime 12.2 LTS の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 12.2 LTS の新機能については、 Databricks Runtime 12.2 LTS (EoS) のリリース ノートを参照してください。

AutoML

AutoML 予測の問題に対して元の入力データセットを拡張するには、特徴量ストア内の既存の特徴量テーブルを使用できます。 詳細については、「 AutoML Feature Store の統合を参照してください。

AutoML の詳細については、「 AutoML とは」を参照

システム環境

Databricks Runtime 12.2 LTS ML のシステム環境は、Databricks Runtime 12.2 LTS とは次のように異なります。

Databricks Runtime 12.2 LTS ML には XGBoost 1.7.2 が含まれています。これは、コンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。

ライブラリ

次のセクションでは、Databricks Runtime 12.2 LTS ML に含まれるライブラリで、Databricks Runtime 12.2 LTS に含まれているものと異なるライブラリの一覧を示します。

このセクションの内容は次のとおりです。

最上位層ライブラリ

Databricks Runtime 12.2 LTS ML には、次の最上位層ライブラリが含まれています。

Python ライブラリ

Databricks Runtime 12.2 LTS ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージを含みます。

以下のセクションで指定されているパッケージに加えて、Databricks Runtime 12.2 LTS ML には次のパッケージも含まれています。

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-12.2.txt ファイルをダウンロードし、pip install -r requirements-12.2.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのopen source ライブラリをインストールしますが、databricks-automldatabricks-feature-storehyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。

CPUクラスター上のPythonライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アスター 0.8.1 アストトークン 2.0.5 astunparse 1.6.3
属性 21.4.0 azure-core (アジュール コア) 1.26.3 azure-cosmos 4.2.0
バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.2.0 bcrypt(ビークリプト) 3.2.0
beautifulsoup4 4.11.1 黒い 22.3.0 漂白剤 4.1.0
ブリス 0.7.9 boto3 1.21.32 botocore 1.24.32
キャッシュツールズ (cachetools) 4.2.2 カタログ 2.0.8 category-encoders (カテゴリーエンコーダー) 2.5.1.post0
サーティフィ 2021.10.8 cffi 1.15.0 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックする 8.0.4 クラウドピックル 2.0.0
cmdstanpy 1.1.0 お菓子 0.0.4 configparser (コンフィグパーサー) 5.2.0
日付変換 2.4.0 暗号 3.4.8 サイクリスト 0.11.0
サイメム 2.0.7 Cython 0.29.28 databricks-automl-runtime(データブリックス・オートエムエル・ランタイム) 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 デコレータ 5.1.1
デフューズドXML (defusedxml) 0.7.1 ディル 0.3.4 ディスクキャッシュ 5.4.0
distlib 0.3.6 ドックストリングをMarkdownに変換 0.11 入口点 0.4
エフェム 4.1.4 実行中 0.8.3 ファセット概要 1.0.0
fastjsonschema 2.16.2 fasttext(ファーストテキスト) 0.9.2 ファイルロック 3.6.0
Flask 1.1.2 フラットバッファーズ 23.1.21 fonttools(フォントツールズ) 4.25.0
fsspec 2022.2.0 未来 0.18.2 ガスト 0.4.0
ギットディービー 4.0.10 GitPython 3.1.27 google-auth(Google認証) 1.33.0
google-auth-oauthlib 0.4.6 グーグルパスタ 0.2.0 grpcio 1.42.0
ガニーコーン (gunicorn) 20.1.0 gviz-api 1.10.0 h5py 3.6.0
ヒジュリ変換器 2.2.4 休日 0.18 ホロヴォド 0.27.0
HTML最小化ツール(htmlmin) 0.1.12 huggingface-hub(ハギングフェイスのハブ) 0.12.0 IDNA 3.3
イメージハッシュ (ImageHash) 4.3.1 imbalanced-learn 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils (IPython用のユーティリティ) 0.2.0
ipywidgets (インタラクティブウィジェット) 7.7.2 アイソデート 0.6.1 itsdangerous(イッツデンジャラス) 2.0.1
ジェダイ 0.18.1 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.1.1 ジョブリブスパーク 0.5.1 JSONスキーマ 4.4.0
ジュピタークライアント 6.1.12 jupyter_core(ジュピター・コア) 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab ウィジェット 1.0.0 keras 2.11.0 キウィソルバー 1.3.2
韓国陰暦 0.3.1 言語コード 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 月暦 (Lunar Calendar) 0.0.9
アオザメ 1.2.0 Markdown 3.3.4 マークアップセーフ 2.0.1
matplotlib 3.5.1 matplotlib-インライン 0.1.2 マッケイブ 0.7.0
ミスチューン 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
マルチメソッド 1.9.1 マーマーハッシュ (murmurhash) 1.0.9 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclient(エヌビー・クライアント) 0.5.13 NBコンバート 6.4.4 nbフォーマット 5.3.0
nest-asyncio(ネスト・アサインキオ) 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 ノートブック 6.4.8 numba 0.55.1
NumPy (数値計算ライブラリ) 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
パッケージング 21.3 パンダ 1.4.2 pandas-profiling(パンダスプロファイリング) 3.6.2
パンドックフィルターズ 1.5.0 paramiko 2.9.2 パルソ 0.8.3
パススペック 0.9.0 病気または感覚を表す用語として使用される「パシー」 0.10.1 パッツィ 0.5.2
petastorm 0.12.1 ペキスペクト 4.8.0 フィック 0.12.3
ピクルシェア 0.7.5 9.0.1 21.2.4
プラットフォームディレクトリ 2.6.2 plotly - データビジュアライゼーションツール 5.6.0 プラグイン管理ツール 1.0.0
pmdarima 2.0.2 プレシェッド 3.0.8 prometheus-クライアント 0.13.1
prompt-toolkit(プロンプトツールキット) 3.0.20 預言者 1.1.1 プロトバフ 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval (ピュア・イヴァル) 0.2.2 pyarrow (パイアロー) 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser(パイシーパーサー) 2.21
Pythonのデータバリデーションライブラリ「pydantic」 1.10.2 パイフレークス 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.4
pyright 1.1.283 pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2
パイソンエディター 1.0.4 python-lsp-jsonrpc 1.0.0 Python LSP サーバー 1.6.0
pytz 2021年3月 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 RegEx 2022/3/15 リクエスト 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 ロープ 0.22.0
RSA(アールエスエー) 4.7.2 s3transfer 0.5.0 scikit-learn(サイキット・ラーン) 1.0.2
scipy (Pythonライブラリ) 1.7.3 seaborn(シーボーン) 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0
setuptools(セットアップツール) 61.2.0 setuptools-git 1.2 シャープ 0.41.0
simplejson 3.17.6 6 1.16.0 スライサー 0.0.7
スマートオープン 5.2.1 smmap 5.0.0 スープこし器 (soup strainer) 2.3.1
スペーシー 3.4.4 spacy-legacy 3.0.12 スペーシー・ロガーズ 1.0.4
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 まじで 2.4.5
ssh-import-id 5.10 スタックデータ 0.2.0 statsmodels(スタッツモデルズ) 0.13.2
一覧にする 0.8.9 「tangled」-up-in-ユニコード 0.2.0 粘り強さ 8.0.1
TensorBoard 2.11.2 テンソルボード・データサーバー 0.6.1 tensorboard-plugin-profile 2.11.1
テンソルボードプラグイン-WIT 1.8.1 tensorflow (CPU版) 2.11.0 tensorflow-estimatorツール 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 termcolor 2.2.0 終了しました 0.13.1
テストパス (testpath) 0.5.0 thinc 8.1.7 Threadpoolctl 2.2.0
トークナイズ-RT 4.2.1 トークナイザー 0.13.2 tomli 1.2.2
電灯 1.13.1 + cpu torchvision 라이브러리 0.14.1+ cpu 竜巻 6.1
tqdm 4.64.0 traitlets(トレイトレット) 5.1.1 トランスフォーマー 4.25.1
タイプガード 2.13.3 タイピスト 0.7.0 タイピングエクステンションズ (typing_extensions) 4.1.1
ujson 5.1.0 無人アップグレード 0.1 urllib3 1.26.9
virtualenv 20.8.0 ビジョン 0.7.5 わさび 0.10.1
wcwidth(文字の幅を測定するプログラム関数) 0.2.5 ウェブエンコーディングス 0.5.1 websocket-client (ウェブソケット・クライアント) 0.58.0
Werkzeug 2.0.3 whatthepatch(ホワットザパッチ) 1.0.4 ホイール 0.37.1
ウィジェットNBエクステンション 3.6.1 包まれた 1.12.1 xgboost 1.7.2
yapf (ヤップフ) 0.31.0 ジップ 3.7.0

GPU クラスター上のPython ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アスター 0.8.1 アストトークン 2.0.5 astunparse 1.6.3
属性 21.4.0 azure-core (アジュール コア) 1.26.3 azure-cosmos 4.2.0
バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.2.0 bcrypt(ビークリプト) 3.2.0
beautifulsoup4 4.11.1 黒い 22.3.0 漂白剤 4.1.0
ブリス 0.7.9 boto3 1.21.32 botocore 1.24.32
キャッシュツールズ (cachetools) 4.2.2 カタログ 2.0.8 category-encoders (カテゴリーエンコーダー) 2.5.1.post0
サーティフィ 2021.10.8 cffi 1.15.0 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックする 8.0.4 クラウドピックル 2.0.0
cmdstanpy 1.1.0 お菓子 0.0.4 configparser (コンフィグパーサー) 5.2.0
日付変換 2.4.0 暗号 3.4.8 サイクリスト 0.11.0
サイメム 2.0.7 Cython 0.29.28 databricks-automl-runtime(データブリックス・オートエムエル・ランタイム) 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 デコレータ 5.1.1
デフューズドXML (defusedxml) 0.7.1 ディル 0.3.4 ディスクキャッシュ 5.4.0
distlib 0.3.6 ドックストリングをMarkdownに変換 0.11 入口点 0.4
エフェム 4.1.4 実行中 0.8.3 ファセット概要 1.0.0
fastjsonschema 2.16.2 fasttext(ファーストテキスト) 0.9.2 ファイルロック 3.6.0
Flask 1.1.2 フラットバッファーズ 23.1.21 fonttools(フォントツールズ) 4.25.0
fsspec 2022.2.0 未来 0.18.2 ガスト 0.4.0
ギットディービー 4.0.10 GitPython 3.1.27 google-auth(Google認証) 1.33.0
google-auth-oauthlib 0.4.6 グーグルパスタ 0.2.0 grpcio 1.42.0
ガニーコーン (gunicorn) 20.1.0 gviz-api 1.10.0 h5py 3.6.0
ヒジュリ変換器 2.2.4 休日 0.18 ホロヴォド 0.27.0
HTML最小化ツール(htmlmin) 0.1.12 huggingface-hub(ハギングフェイスのハブ) 0.12.0 IDNA 3.3
イメージハッシュ (ImageHash) 4.3.1 imbalanced-learn 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils (IPython用のユーティリティ) 0.2.0
ipywidgets (インタラクティブウィジェット) 7.7.2 アイソデート 0.6.1 itsdangerous(イッツデンジャラス) 2.0.1
ジェダイ 0.18.1 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.1.1 ジョブリブスパーク 0.5.1 JSONスキーマ 4.4.0
ジュピタークライアント 6.1.12 jupyter_core(ジュピター・コア) 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab ウィジェット 1.0.0 keras 2.11.0 キウィソルバー 1.3.2
韓国陰暦 0.3.1 言語コード 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 月暦 (Lunar Calendar) 0.0.9
アオザメ 1.2.0 Markdown 3.3.4 マークアップセーフ 2.0.1
matplotlib 3.5.1 matplotlib-インライン 0.1.2 マッケイブ 0.7.0
ミスチューン 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
マルチメソッド 1.9.1 マーマーハッシュ (murmurhash) 1.0.9 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclient(エヌビー・クライアント) 0.5.13 NBコンバート 6.4.4 nbフォーマット 5.3.0
nest-asyncio(ネスト・アサインキオ) 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 ノートブック 6.4.8 numba 0.55.1
NumPy (数値計算ライブラリ) 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
パッケージング 21.3 パンダ 1.4.2 pandas-profiling(パンダスプロファイリング) 3.6.2
パンドックフィルターズ 1.5.0 paramiko 2.9.2 パルソ 0.8.3
パススペック 0.9.0 病気または感覚を表す用語として使用される「パシー」 0.10.1 パッツィ 0.5.2
petastorm 0.12.1 ペキスペクト 4.8.0 フィック 0.12.3
ピクルシェア 0.7.5 9.0.1 21.2.4
プラットフォームディレクトリ 2.6.2 plotly - データビジュアライゼーションツール 5.6.0 プラグイン管理ツール 1.0.0
pmdarima 2.0.2 プレシェッド 3.0.8 prompt-toolkit(プロンプトツールキット) 3.0.20
預言者 1.1.1 プロトバフ 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval (ピュア・イヴァル) 0.2.2
pyarrow (パイアロー) 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.3 pycparser(パイシーパーサー) 2.21 Pythonのデータバリデーションライブラリ「pydantic」 1.10.2
パイフレークス 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2 パイソンエディター 1.0.4
python-lsp-jsonrpc 1.0.0 Python LSP サーバー 1.6.0 pytz 2021年3月
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
RegEx 2022/3/15 リクエスト 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 ロープ 0.22.0 RSA(アールエスエー) 4.7.2
s3transfer 0.5.0 scikit-learn(サイキット・ラーン) 1.0.2 scipy (Pythonライブラリ) 1.7.3
seaborn(シーボーン) 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0 setuptools(セットアップツール) 61.2.0
setuptools-git 1.2 シャープ 0.41.0 simplejson 3.17.6
6 1.16.0 スライサー 0.0.7 スマートオープン 5.2.1
smmap 5.0.0 スープこし器 (soup strainer) 2.3.1 スペーシー 3.4.4
spacy-legacy 3.0.12 スペーシー・ロガーズ 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 まじで 2.4.5 ssh-import-id 5.10
スタックデータ 0.2.0 statsmodels(スタッツモデルズ) 0.13.2 一覧にする 0.8.9
「tangled」-up-in-ユニコード 0.2.0 粘り強さ 8.0.1 TensorBoard 2.11.2
テンソルボード・データサーバー 0.6.1 tensorboard-plugin-profile 2.11.1 テンソルボードプラグイン-WIT 1.8.1
テンソルフロー 2.11.0 tensorflow-estimatorツール 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
termcolor 2.2.0 終了しました 0.13.1 テストパス (testpath) 0.5.0
thinc 8.1.7 Threadpoolctl 2.2.0 トークナイズ-RT 4.2.1
トークナイザー 0.13.2 tomli 1.2.2 電灯 1.13.1+cu117
torchvision 라이브러리 0.14.1+cu117 竜巻 6.1 tqdm 4.64.0
traitlets(トレイトレット) 5.1.1 トランスフォーマー 4.25.1 タイプガード 2.13.3
タイピスト 0.7.0 タイピングエクステンションズ (typing_extensions) 4.1.1 ujson 5.1.0
無人アップグレード 0.1 urllib3 1.26.9 virtualenv 20.8.0
ビジョン 0.7.5 わさび 0.10.1 wcwidth(文字の幅を測定するプログラム関数) 0.2.5
ウェブエンコーディングス 0.5.1 websocket-client (ウェブソケット・クライアント) 0.58.0 Werkzeug 2.0.3
whatthepatch(ホワットザパッチ) 1.0.4 ホイール 0.37.1 ウィジェットNBエクステンション 3.6.1
包まれた 1.12.1 xgboost 1.7.2 yapf (ヤップフ) 0.31.0
ジップ 3.7.0

R ライブラリ

R ライブラリは、Databricks Runtime 12.2 LTS の R ライブラリと同じです。

Javaおよび Scala ライブラリ (Scala 2.12 クラスター)

Databricks Runtime 12.2 LTS のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 12.2 LTS ML には次の JAR が含まれています。

CPU クラスター

グループ ID 成果物 ID バージョン
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU クラスター

グループ ID 成果物 ID バージョン
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0