注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 15.0 for Machine Learningは、Databricks Runtime 15.0 (EoS)に基づいた、マシンラーニングとデータサイエンスに対応した、すぐに使用できる環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。
新機能と機能強化
Databricks Runtime 15.0 ML は Databricks Runtime 15.0 上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 15.0 の新機能については、 Databricks Runtime 15.0 (EoS) のリリース ノートを参照してください。
破壊的な変更
レガシ Databricks CLI は既定でインストールされなくなりました
Databricks Runtime 14.3 LTS ML 以下では、プレインストールされているバージョンの MLflow に従来の Databricks CLI (databricks/databricks-cli) が必要であったため、$PATH に自動的にインストールされていました。 Databricks Runtime 15.0 ML には、従来の CLI を必要としない MLflow バージョン 2.10.2 が含まれています。
Databricks Runtime 15.0 ML 以降では、レガシ Databricks CLI は $PATH に自動的にインストールされなくなります。 これは、ランタイムにレガシ CLI がインストールされていることに依存しているユーザーにとって重大な変更です。 Databricks Runtime 15.0 ML 以降では、%sh databricks ... のようなコマンドは機能しなくなりました。
ノートブックからレガシ Databricks CLI を引き続き使用するには、クラスターまたはノートブック ライブラリとしてインストールしてください。 新しい Databricks CLI (databricks/cli) は Web ターミナルから入手できます。 詳細情報については、「Web ターミナルと Databricks CLI を使用する」をご覧ください。
Databricks Runtime 15.0 ML 以降で MLeap を使用できなくなりました
Databricks Runtime 15.0 ML 以降では、MLeap は使用できなくなりました。 JVM ベースのフレームワークにデプロイするためのモデルをパッケージ化するために、Databricks では ONNX 形式 を使用することをお勧めします。
Horovod と HorovodRunner の廃止
Horovod と HorovodRunner は非推奨になりました。 分散ディープ ラーニングの場合、Databricks では、PyTorch での分散トレーニングに TorchDistributor を使用するか、TensorFlow を使用した分散トレーニング用の tf.distribute.Strategy API を使用することをお勧めします。 Horovod と HorovodRunner は Databricks Runtime 15.0 ML にプレインストールされていますが、次のメジャー Databricks Runtime ML バージョンでは削除されます。
注
horovod.spark では、pyarrow バージョン 11.0 以降はサポートされていません (関連する GitHub 問題を参照)。 Databricks Runtime 15.0 ML には、pyarrow バージョン 14.0.1 が含まれています。 Databricks Runtime 15.0 ML 以降で horovod.spark を使用するには、pyarrow を手動でインストールし、11.0 より前のバージョンを指定する必要があります。
システム環境
Databricks Runtime 15.0 ML のシステム環境は、Databricks Runtime 15.0 とは次のように異なります:
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
ライブラリ
以降のセクションでは、Databricks Runtime 15.0 ML に含まれていて、Databricks Runtime 15.0 に含まれているものとは異なるライブラリ リストを示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 15.0 ML には、次の最上位層ライブラリが含まれています：
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
- (非推奨) Horovod と HorovodRunner
Python ライブラリ
Databricks Runtime 15.0 ML では、Python パッケージ管理に virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
以下のセクションで指定されているパッケージに加えて、Databricks Runtime 15.0 ML には次のパッケージも含まれています:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-15.0.txt ファイルをダウンロードし、pip install -r requirements-15.0.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのopen source ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPUクラスター上のPythonライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | 非同期タイムアウト | 4.0.2 |
| 属性 | 22.1.0 | audioread | 3.0.1 | azure-core (アジュール コア) | 1.30.1 |
| azure-cosmos | 4.3.1 | アジュール・ストレージ・ブロブ | 12.19.0 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 |
| バックコール (再発信機能) | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| 黒い | 23.3.0 | 漂白剤 | 4.1.0 | 恵まれた | 1.20.0 |
| ウィンカー | 1.4 | ブリス | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | キャッシュツールズ (cachetools) | 5.3.3 | カタログ | 2.0.10 |
| category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2023.7.22 | cffi (CコードをPythonで呼び出すためのライブラリ) | 1.15.1 |
| チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリック | 8.0.4 |
| cloudpathlib | 0.16.0 | クラウドピックル | 2.2.1 | cmdstanpy | 1.2.1 |
| カラフル | 0.5.6 | comm | 0.1.2 | お菓子 | 0.1.4 |
| configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.0.5 | 暗号 | 41.0.3 |
| サイクリスト | 0.11.0 | サイメム | 2.0.8 | Cython | 0.29.32 |
| ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.3.0 |
| databricks-sdk（データブリックスSDK） | 0.20.0 | dataclasses-json (データクラスのJSON) | 0.6.4 | データセット | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| デコレータ | 5.1.1 | deepspeed (ディープスピード) | 0.13.1 | デフューズドXML (defusedxml) | 0.7.1 |
| ディル | 0.3.6 | ディスクキャッシュ | 5.6.3 | distlib | 0.3.8 |
| dmツリー | 0.1.8 | 入口点 | 0.4 | 評価する | 0.4.1 |
| 実行中 | 0.8.3 | ファセット概要 | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.19.1 | fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.9.0 |
| Flask | 2.2.5 | フラットバッファーズ | 23年5月26日 | fonttools（フォントツールズ） | 4.25.0 |
| フローズンリスト | 1.3.3 | fsspec | 2023.5.0 | 未来 | 0.18.3 |
| ガスト | 0.4.0 | ギットディービー | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.17.1 | google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.11.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 |
| グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.0 | Google API 共通プロトコル (googleapis-common-protos) | 1.62.0 |
| gpustat | 1.1.1 | グリーンレット | 2.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | holidays | 0.38 | ホロヴォド | 0.28.1+db1 |
| HTML最小化ツール（htmlmin） | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub（ハギングフェイスのハブ） | 0.20.2 | idna | 3.4 |
| イメージハッシュ (ImageHash) | 4.3.1 | imageio | 2.31.1 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources（インポートライブラリリソース) | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 |
| ipywidgets | 8.0.4 | アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 |
| jax-jumpy | 1.0.0 | ジェダイ | 0.18.1 | ジープニー | 0.7.1 |
| ジンジャ2 | 3.1.2 | jmespath | 0.10.0 | 「joblib」 | 1.2.0 |
| ジョブリブスパーク | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2.4 |
| JSONスキーマ | 4.17.3 | jupyterサーバー | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core（ジュピター・コア） | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 3.0.5 |
| keras | 2.15.0 | キーリング | 23.5.0 | キウィソルバー | 1.4.4 |
| langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
| 言語コード | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | レイジーローダー | 0.2 |
| libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Mako | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.1 | マシュマロ | 3.21.1 | matplotlib | 3.7.2 |
| matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
| ml-dtypes（機械学習で使用されるデータ型） | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
| mpmath | 1.3.0 | msgpack (メッセージパック) | 1.0.8 | マルチディクト | 6.0.2 |
| マルチメソッド | 1.11.2 | マルチプロセス | 0.70.14 | マーマーハッシュ (murmurhash) | 1.0.10 |
| mypy-extensions (マイパイ拡張機能) | 0.4.3 | nbclassic | 0.5.5 | nbclient（エヌビー・クライアント） | 0.5.13 |
| NBコンバート | 6.5.4 | nbフォーマット | 5.7.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.6 |
| networkx | 3.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
| ノートブック | 6.5.4 | notebook_shim | 0.2.2 | ナンバ | 0.57.1 |
| NumPy (数値計算ライブラリ) | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| オープンAI | 1.9.0 | opencensus | 0.11.4 | opencensus-context (オープンセンサス・コンテキスト) | 0.1.3 |
| opt-einsum | 3.3.0 | パッケージング | 23.2 | パンダ | 2.0.3 |
| パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 | パルソ | 0.8.3 |
| pathspec | 0.10.3 | パッツィ | 0.5.3 | petastorm | 0.12.1 |
| ペキスペクト | 4.8.0 | フィック | 0.12.4 | ピクルシェア | 0.7.5 |
| 枕 | 9.4.0 | pip | 23.2.1 | プラットフォームディレクトリ | 3.10.0 |
| plotly | 5.9.0 | pmdarima | 2.0.4 | ワンちゃん | 1.8.1 |
| プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.36 |
| 預言者 | 1.1.5 | プロトバフ | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow (パイアロー) | 14.0.1 |
| pyarrow-ホットフィックス | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | ピッコロ | 0.0.52 | pycparser（パイシーパーサー） | 2.21 |
| pydantic | 1.10.6 | パイグメンツ | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | パイパーシング (Pyparsing) | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 | パイソンエディター | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | pytz | 2022年7月 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | ray | 2.9.3 |
| RegEx | 2022.7.9 | リクエスト | 2.31.0 | requests-oauthlib | 1.3.1 |
| レスポンス | 0.13.3 | リッチ | 13.7.1 | RSA（アールエスエー） | 4.9 |
| s3transfer | 0.10.0 | safetensors | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn（サイキット・ラーン） | 1.3.0 | scipy | 1.11.1 | seaborn（シーボーン） | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 | sentence-transformers | 2.2.2 |
| sentencepiece | 0.1.99 | setuptools（セットアップツール） | 68.0.0 | シャープ | 0.44.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | スライサー | 0.0.7 |
| スマートオープン | 5.2.1 | smmap | 5.0.0 | スニフィオ | 1.2.0 |
| サウンドファイル | 0.12.1 | soupsieve | 2.4 | soxr | 0.3.7 |
| spacy | 3.7.2 | spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| スタニオ | 0.3.0 | statsmodels（スタッツモデルズ） | 0.14.0 | sympy (ライブラリ) | 1.11.1 |
| 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.2.2 | TensorBoard | 2.15.1 |
| テンソルボード・データサーバー | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
| tensorflow (CPU版) | 2.15.0 | tensorflow-estimatorツール | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| termcolor | 2.4.0 | 終了しました | 0.17.1 | thinc | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile (ティフファイル) | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.15.0 |
| 電灯 | 2.1.2 + cpu | torcheval | 0.0.7 | torchvision 라이브러리 | 0.16.2 + cpu |
| 竜巻 | 6.3.2 | tqdm | 4.65.0 | traitlets（トレイトレット） | 5.7.1 |
| トランスフォーマー | 4.36.2 | タイプガード | 2.13.3 | typer | 0.9.0 |
| タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.7.1 | tzdata | 2022年1月 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | ビジョン | 0.7.5 | wadllib | 1.3.6 |
| わさび | 1.1.2 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | weasel | 0.3.4 |
| ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.58.0 | Werkzeug | 2.2.3 |
| ホイール | 0.38.4 | widgetsnbextension | 4.0.5 | ワードクラウド | 1.9.3 |
| wrapt | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-profiling | 4.5.1 | ジップ | 3.11.0 |
GPU クラスター上のPython ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | 非同期タイムアウト | 4.0.2 |
| 属性 | 22.1.0 | audioread | 3.0.1 | azure-core (アジュール コア) | 1.30.1 |
| azure-cosmos | 4.3.1 | アジュール・ストレージ・ブロブ | 12.19.0 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 |
| バックコール (再発信機能) | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| 黒い | 23.3.0 | 漂白剤 | 4.1.0 | 恵まれた | 1.20.0 |
| ウィンカー | 1.4 | ブリス | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | キャッシュツールズ (cachetools) | 5.3.3 | カタログ | 2.0.10 |
| category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2023.7.22 | cffi (CコードをPythonで呼び出すためのライブラリ) | 1.15.1 |
| チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリック | 8.0.4 |
| cloudpathlib | 0.16.0 | クラウドピックル | 2.2.1 | cmdstanpy | 1.2.1 |
| カラフル | 0.5.6 | comm | 0.1.2 | お菓子 | 0.1.4 |
| configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.0.5 | 暗号 | 41.0.3 |
| サイクリスト | 0.11.0 | サイメム | 2.0.8 | Cython | 0.29.32 |
| ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.3.0 |
| databricks-sdk（データブリックスSDK） | 0.20.0 | dataclasses-json (データクラスのJSON) | 0.6.4 | データセット | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| デコレータ | 5.1.1 | deepspeed (ディープスピード) | 0.13.1 | デフューズドXML (defusedxml) | 0.7.1 |
| ディル | 0.3.6 | ディスクキャッシュ | 5.6.3 | distlib | 0.3.8 |
| dmツリー | 0.1.8 | einops | 0.7.0 | 入口点 | 0.4 |
| 評価する | 0.4.1 | 実行中 | 0.8.3 | ファセット概要 | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 | fasttext（ファーストテキスト） | 0.9.2 |
| ファイルロック | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
| フラットバッファーズ | 23年5月26日 | fonttools（フォントツールズ） | 4.25.0 | フローズンリスト | 1.3.3 |
| fsspec | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
| ギットディービー | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
| google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
| Googleクラウドストレージ | 2.11.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 | グーグルパスタ | 0.2.0 |
| google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.0 | Google API 共通プロトコル (googleapis-common-protos) | 1.62.0 | gpustat | 1.1.1 |
| グリーンレット | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 | 体育館 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| holidays | 0.38 | ホロヴォド | 0.28.1+db1 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub（ハギングフェイスのハブ） | 0.20.2 | idna | 3.4 | イメージハッシュ (ImageHash) | 4.3.1 |
| imageio | 2.31.1 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources（インポートライブラリリソース) | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 8.0.4 |
| アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 | jax-jumpy | 1.0.0 |
| ジェダイ | 0.18.1 | ジープニー | 0.7.1 | ジンジャ2 | 3.1.2 |
| jmespath | 0.10.0 | 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2.4 | JSONスキーマ | 4.17.3 |
| jupyterサーバー | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core（ジュピター・コア） | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 3.0.5 | keras | 2.15.0 |
| キーリング | 23.5.0 | キウィソルバー | 1.4.4 | langchain | 0.1.3 |
| langchain-community | 0.0.20 | langchain-core | 0.1.23 | 言語コード | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | レイジーローダー | 0.2 | libclang | 16.0.6 |
| librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| マシュマロ | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
| msgpack (メッセージパック) | 1.0.8 | マルチディクト | 6.0.2 | マルチメソッド | 1.11.2 |
| マルチプロセス | 0.70.14 | マーマーハッシュ (murmurhash) | 1.0.10 | mypy-extensions (マイパイ拡張機能) | 0.4.3 |
| nbclassic | 0.5.5 | nbclient（エヌビー・クライアント） | 0.5.13 | NBコンバート | 6.5.4 |
| nbフォーマット | 5.7.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.6 | networkx | 3.1 |
| 忍者 | 1.11.1.1 | nltk | 3.8.1 | ノートブック | 6.5.4 |
| notebook_shim | 0.2.2 | ナンバ | 0.57.1 | NumPy (数値計算ライブラリ) | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | オープンAI | 1.9.0 |
| opencensus | 0.11.4 | opencensus-context (オープンセンサス・コンテキスト) | 0.1.3 | opt-einsum | 3.3.0 |
| パッケージング | 23.2 | パンダ | 2.0.3 | パンドックフィルターズ | 1.5.0 |
| paramiko | 2.9.2 | パルソ | 0.8.3 | pathspec | 0.10.3 |
| パッツィ | 0.5.3 | petastorm | 0.12.1 | ペキスペクト | 4.8.0 |
| フィック | 0.12.4 | ピクルシェア | 0.7.5 | 枕 | 9.4.0 |
| pip | 23.2.1 | プラットフォームディレクトリ | 3.10.0 | plotly | 5.9.0 |
| pmdarima | 2.0.4 | ワンちゃん | 1.8.1 | プレシェッド | 3.0.9 |
| prompt-toolkit（プロンプトツールキット） | 3.0.36 | 預言者 | 1.1.5 | プロトバフ | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow (パイアロー) | 14.0.1 | pyarrow-ホットフィックス | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | ピッコロ | 0.0.52 |
| pycparser（パイシーパーサー） | 2.21 | pydantic | 1.10.6 | パイグメンツ | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | パイパーシング (Pyparsing) | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022年7月 |
| PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| ray | 2.9.3 | RegEx | 2022.7.9 | リクエスト | 2.31.0 |
| requests-oauthlib | 1.3.1 | レスポンス | 0.13.3 | リッチ | 13.7.1 |
| RSA（アールエスエー） | 4.9 | s3transfer | 0.10.0 | safetensors | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn（サイキット・ラーン） | 1.3.0 | scipy | 1.11.1 |
| seaborn（シーボーン） | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 |
| sentence-transformers | 2.2.2 | sentencepiece | 0.1.99 | setuptools（セットアップツール） | 68.0.0 |
| シャープ | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.2.0 | サウンドファイル | 0.12.1 | soupsieve | 2.4 |
| soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スタニオ | 0.3.0 | statsmodels（スタッツモデルズ） | 0.14.0 |
| sympy (ライブラリ) | 1.11.1 | 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.2.2 |
| TensorBoard | 2.15.1 | テンソルボード・データサーバー | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
| tensorboardX | 2.6.2.2 | テンソルフロー | 2.15.0 | tensorflow-estimatorツール | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | 終了しました | 0.17.1 |
| thinc | 8.2.3 | threadpoolctl | 2.2.0 | tifffile (ティフファイル) | 2021.7.2 |
| tiktoken | 0.5.2 | tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 |
| トークナイザー | 0.15.0 | 電灯 | 2.1.2+cu121 | torcheval | 0.0.7 |
| torchvision 라이브러리 | 0.16.2+cu121 | 竜巻 | 6.3.2 | tqdm | 4.65.0 |
| traitlets（トレイトレット） | 5.7.1 | トランスフォーマー | 4.36.2 | トライトン | 2.1.0 |
| タイプガード | 2.13.3 | typer | 0.9.0 | タイピング検査 | 0.9.0 |
| タイピングエクステンションズ (typing_extensions) | 4.7.1 | tzdata | 2022年1月 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | わさび | 1.1.2 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | weasel | 0.3.4 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 0.58.0 | Werkzeug | 2.2.3 | ホイール | 0.38.4 |
| widgetsnbextension | 4.0.5 | ワードクラウド | 1.9.3 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
| ydata-profiling | 4.5.1 | ジップ | 3.11.0 |
R ライブラリ
R ライブラリは、Databricks Runtime 15.0 の R ライブラリと同じです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 15.0 のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 15.0 ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |