注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 16.1 for Machine Learning は、Databricks Runtime 16.1 (EoS) に基づいた、機械学習とデータサイエンス用の準備が整った環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML では、TorchDistributor、DeepSpeed、Ray を使用した分散型ディープ ラーニング トレーニングもサポートされています。
新機能と機能強化
Databricks Runtime 16.1 ML は、Databricks Runtime 16.1 の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 16.1 の新機能については、 Databricks Runtime 16.1 (EoS) のリリース ノートを参照してください。
システム環境
Databricks Runtime 16.1 ML のシステム環境は、次のように Databricks Runtime 16.1 と異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 16.1 ML に含まれる、Databricks Runtime 16.1 に含まれるライブラリと異なるライブラリを示します。
このセクションの内容は次のとおりです。
最上位レベルのライブラリ
Databricks Runtime 16.1 ML には、次の最上位層 ライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- トランスフォーマー
Python ライブラリ
Databricks Runtime 16.1 ML では、Python パッケージ管理に virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
Databricks Runtime 16.1 ML には、次のセクションで指定したパッケージに加えて、次のパッケージも含まれています。
- hyperopt 0.2.9+db5
- automl 1.29.0
ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-16.1.txt ファイルをダウンロードし、pip install -r requirements-16.1.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのopen source ライブラリをインストールしますが、databricks-automl、databricks-feature-engineering、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPUクラスター上のPythonライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 1.1.1 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | alembic | 1.13.3 |
| 注釈付き型 | 0.7.0 | anyio | 4.2.0 | アーグコンプリート | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 |
| アスター | 0.8.1 | アストトークン | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | 属性 | 23.1.0 | audioread | 3.0.1 |
| 自動コマンド | 2.2.2 | azure-core (アジュール コア) | 1.31.0 | azure-cosmos | 4.3.1 |
| azure-identity (アズール・アイデンティティ) | 1.18.0 | アジュール・ストレージ・ブロブ | 12.23.1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 |
| バベル | 2.11.0 | バックオフ | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt（ビークリプト） | 3.2.0 | beautifulsoup4 | 4.12.3 | 黒い | 24.4.2 |
| 漂白剤 | 4.1.0 | ウインカー | 1.7.0 | ブリス | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| キャッシュツールズ (cachetools) | 5.3.3 | カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 |
| サーティフィ | 2024年6月2日 | cffi | 1.16.0 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | サーキットブレーカー | 2.0.0 | クリック | 8.1.7 |
| cloudpathlib | 0.19.0 | クラウドピックル | 2.2.1 | cmdstanpy | 1.2.4 |
| カラフル | 0.5.6 | colorlog | 6.8.2 | 通信 | 0.2.1 |
| 作曲家 | 0.27.0 | お菓子 | 0.1.5 | configparser (コンフィグパーサー) | 5.2.0 |
| コンツアーピー | 1.2.0 | クールネーム | 2.2.0 | 暗号 | 42.0.5 |
| サイクリスト | 0.11.0 | サイメム | 2.0.10 | Cython | 3.0.11 |
| ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.7.0 |
| databricks-sdk（データブリックスSDK） | 0.30.0 | データセット | 3.1.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | デコレータ | 5.1.1 |
| ディープスピード | 0.16.0 | デフューズドXML (defusedxml) | 0.7.1 | 推奨されない | 1.2.14 |
| ディル | 0.3.8 | distlib | 0.3.8 | dmツリー | 0.1.8 |
| ドックストリングをMarkdownに変換 | 0.11 | 入口点 | 0.4 | 評価する | 0.4.3 |
| 実行中 | 0.8.3 | ファセット概要 | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 |
| Flask | 2.2.5 | フラットバッファーズ | 24.3.25 | fonttools（フォントツールズ） | 4.51.0 |
| FQDN | 1.5.1 | フローズンリスト | 1.4.0 | fsspec | 2023.5.0 |
| 未来 | 0.18.3 | ガスト | 0.4.0 | ギットディービー | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth（Google認証） | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.10.0 |
| google-crc32c（GoogleのCRC32Cライブラリ） | 1.6.0 | グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 |
| Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 | gql | 3.5.0 | graphql-core | 3.2.4 |
| グリーンレット | 3.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 | 体育館 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.11.0 | hjson | 3.1.0 |
| 休日 | 0.54 | HTML最小化ツール（htmlmin） | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.4 | httpx | 0.28.0 | huggingface-hub（ハギングフェイスのハブ） | 0.24.5 |
| IDNA | 3.7 | イメージハッシュ (ImageHash) | 4.3.1 | imageio | 2.33.1 |
| imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources（インポートライブラリリソース) | 6.4.5 |
| 活用 | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets (インタラクティブウィジェット) | 7.7.2 |
| アイソデート | 0.6.1 | イソデュレーション | 20.11.0 | itsdangerous（イッツデンジャラス） | 2.2.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jax-ジャンピー | 1.0.0 | ジェダイ | 0.19.1 | ジンジャ2 | 3.1.4 |
| ジッター | 0.8.0 | jmespath | 1.0.1 | 「joblib」 | 1.4.2 |
| ジョブリブスパーク | 0.5.1 | json5 | 0.9.6 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | JSONスキーマ | 4.19.2 | jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 |
| Jupyterイベント | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
| jupyter_core（ジュピター・コア） | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals (ジュピター サーバー ターミナルズ) | 0.4.4 |
| jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 | ジュピターラボサーバー | 2.25.1 |
| keras | 3.6.0 | キウィソルバー | 1.4.4 | langchain | 0.3.8 |
| langchain-core | 0.2.41 | ランチェーン・テキスト・スプリッターズ | 0.2.4 | 言語コード | 3.4.1 |
| langsmith | 0.1.129 | 言語データ | 1.2.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | レイジーローダー | 0.4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | lightgbm | 4.5.0 |
| ライトニング・ユーティリティ | 0.11.9 | リンク化-it-py | 2.0.0 | llvmlite | 0.42.0 |
| lz4 | 4.3.2 | アオザメ | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | マークアップセーフ | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 | マッケイブ | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | メムレイ | 1.14.0 |
| ミスチューン | 2.0.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.4.1 | mlflow-skinny | 2.15.1 |
| more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.8.0 |
| mpmath | 1.3.0 | msal | 1.31.1 | msal-extensions | 1.2.0 |
| msgpack (メッセージパック) | 1.1.0 | マルチディクト | 6.0.4 | マルチメソッド | 1.12 |
| マルチプロセス | 0.70.16 | マーマーハッシュ (murmurhash) | 1.0.11 | マイピー | 1.10.0 |
| mypy-extensions (マイパイ拡張機能) | 1.0.0 | namex | 0.0.8 | nbclient（エヌビー・クライアント） | 0.8.0 |
| NBコンバート | 7.10.0 | nbフォーマット | 5.9.2 | nest-asyncio（ネスト・アサインキオ） | 1.6.0 |
| networkx | 3.2.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
| nodeenv | 1.9.1 | ノートブック | 7.0.8 | ノートブックシム | 0.2.3 |
| numba | 0.59.1 | NumPy (数値計算ライブラリ) | 1.26.4 | nvidia-ml-py | 12.560.30 |
| oauthlib | 3.2.0 | オーシーアイ | 2.139.0 | オープンAI | 1.55.1 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.28.2 |
| opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.28.2 | OpenTelemetryセマンティック規約 | 0.49b2 | opt_einsum | 3.4.0 |
| オプツリー | 0.12.1 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.12 | オーバーライド | 7.4.0 | 包装 | 24.1 |
| パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 | paramiko | 3.4.0 |
| パルソ | 0.8.3 | パススペック | 0.10.3 | パッツィ | 0.5.6 |
| ペキスペクト | 4.8.0 | フィック | 0.12.4 | 枕 | 10.3.0 |
| 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 | plotly - データビジュアライゼーションツール | 5.22.0 |
| プラグイン管理ツール | 1.0.0 | pmdarima | 2.0.4 | ワンちゃん | 1.8.2 |
| ポータルロッカー | 2.10.1 | プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 |
| prompt-toolkit（プロンプトツールキット） | 3.0.43 | 預言者 | 1.1.5 | proto-plus | 1.24.0 |
| プロトバフ | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.3.14 | pyarrow (パイアロー) | 15.0.2 | pyarrow-hotfix | 0.6 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 |
| ピッコロ | 0.0.65 | pycparser（パイシーパーサー） | 2.21 | Pythonのデータバリデーションライブラリ「pydantic」 | 2.8.2 |
| pydantic_core | 2.20.1 | パイフレークス | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc (Pythonのデータベース接続用ライブラリ) | 5.0.1 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 24.0.0 | パイパーシング (Pyparsing) | 3.0.9 |
| pyright | 1.1.294 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 |
| パイソンエディター | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| Python LSP サーバー | 1.10.0 | python-snappy | 0.6.1 | Pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | アンケート | 1.10.0 |
| 鱏 | 2.35.0 | 参照 | 0.30.2 | RegEx | 2023年10月3日 |
| リクエスト | 2.32.2 | requests-oauthlib | 1.3.1 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | 裕福 | 13.3.5 | ロープ | 1.12.0 |
| rpds-py | 0.10.6 | RSA（アールエスエー） | 4.9 | ruamel.yaml | 0.18.6 |
| ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 | セーフテンソル | 0.4.4 |
| scikit-image（Pythonの画像処理ライブラリ） | 0.23.2 | scikit-learn（サイキット・ラーン） | 1.4.2 | scipy (Pythonライブラリ) | 1.13.1 |
| seaborn（シーボーン） | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 | センテンス・トランスフォーマー | 3.3.1 |
| sentencepiece（センテンスピース） | 0.2.0 | setuptools（セットアップツール） | 74.0.0 | シャープ | 0.46.0 |
| シェリンガム | 1.5.4 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.8 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 | スープこし器 (soup strainer) | 2.5 |
| soxr | 0.5.0.post1 | スペーシー | 3.7.5 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| まじで | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| スタニオ | 0.5.1 | statsmodels（スタッツモデルズ） | 0.14.2 | sympy (ライブラリ) | 1.13.1 |
| 一覧にする | 0.9.0 | 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.2.2 |
| TensorBoard | 2.18.0 | テンソルボード・データサーバー | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | テンソルフロー | 2.18.0 | tensorflow-estimatorツール | 2.15.0 |
| termcolor | 2.4.0 | 終了しました | 0.17.1 | テキスト | 0.87.1 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | Threadpoolctl | 2.2.0 |
| tifffile (ティフファイル) | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| トークナイズ-RT | 4.2.1 | トークナイザー | 0.20.0 | tomli | 2.0.1 |
| 電灯 | 2.5.0 + cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.4.0.post0 | torchvision 라이브러리 | 0.20.0+cpu | 竜巻 | 6.4.1 |
| tqdm | 4.66.4 | traitlets（トレイトレット） | 5.14.3 | トランスフォーマー | 4.46.3 |
| タイプガード | 4.3.0 | タイピスト | 0.12.5 | types-protobuf（タイプス-プロトバフ） | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| リクエストの種類 | 2.31.0.0 | typesセットアップツール | 68.0.0.0 | タイプ六 | 1.16.0 |
| types-urllib3 | 1.26.25.14 | タイピングエクステンションズ (typing_extensions) | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | 無人アップグレード | 0.1 | uri-template | 1.3.0 |
| urllib3 | 1.26.16 | バリデーター | 0.34.0 | virtualenv | 20.26.2 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | わさび | 1.1.3 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | 鼬 | 0.4.1 | webcolors | 24.8.0 |
| ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 1.8.0 | ウェブソケット | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.43.0 |
| ワードクラウド | 1.9.3 | 包まれた | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf (ヤップフ) | 0.33.0 |
| ヤール | 1.9.3 | ydata-profiling | 4.9.0 | ジップ | 3.17.0 |
| zstd | 1.5.5.1 |
GPU クラスター上のPython ライブラリ
注
PyTorch は、CUDA PyPI 依存関係を使用して、Databricks Runtime 16.1 ML に組み込まれている CUDA ライブラリ バージョンの代わりに CUDA のサポートを提供します。
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 1.1.1 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | 注釈付き型 | 0.7.0 |
| anyio | 4.2.0 | アーグコンプリート | 3.5.0 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| 属性 | 23.1.0 | audioread | 3.0.1 | 自動コマンド | 2.2.2 |
| azure-core (アジュール コア) | 1.31.0 | azure-cosmos | 4.3.1 | azure-identity (アズール・アイデンティティ) | 1.18.0 |
| アジュール・ストレージ・ブロブ | 12.23.1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 | バベル | 2.11.0 |
| バックオフ | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt（ビークリプト） | 3.2.0 |
| beautifulsoup4 | 4.12.3 | 黒い | 24.4.2 | 漂白剤 | 4.1.0 |
| ウインカー | 1.7.0 | ブリス | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | キャッシュツールズ (cachetools) | 5.3.3 |
| カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2024年6月2日 |
| cffi | 1.16.0 | チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 |
| サーキットブレーカー | 2.0.0 | クリック | 8.1.7 | cloudpathlib | 0.19.0 |
| クラウドピックル | 2.2.1 | cmdstanpy | 1.2.4 | カラフル | 0.5.6 |
| colorlog | 6.8.2 | 通信 | 0.2.1 | 作曲家 | 0.27.0 |
| お菓子 | 0.1.5 | configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.2.0 |
| クールネーム | 2.2.0 | 暗号 | 42.0.5 | サイクリスト | 0.11.0 |
| サイメム | 2.0.10 | Cython | 3.0.11 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.7.0 | databricks-sdk（データブリックスSDK） | 0.30.0 |
| データセット | 3.1.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | デコレータ | 5.1.1 | ディープスピード | 0.16.0 |
| デフューズドXML (defusedxml) | 0.7.1 | 推奨されない | 1.2.14 | ディル | 0.3.8 |
| distlib | 0.3.8 | dmツリー | 0.1.8 | ドックストリングをMarkdownに変換 | 0.11 |
| einops | 0.8.0 | 入口点 | 0.4 | 評価する | 0.4.3 |
| 実行中 | 0.8.3 | ファセット概要 | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 |
| flash_attn | 2.7.0 | Flask | 2.2.5 | フラットバッファーズ | 24.3.25 |
| fonttools（フォントツールズ） | 4.51.0 | FQDN | 1.5.1 | フローズンリスト | 1.4.0 |
| fsspec | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
| ギットディービー | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
| Googleクラウドストレージ | 2.10.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.6.0 | グーグルパスタ | 0.2.0 |
| google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 | Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | グリーンレット | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | 休日 | 0.54 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.4 | httpx | 0.27.2 |
| huggingface-hub（ハギングフェイスのハブ） | 0.24.5 | IDNA | 3.7 | イメージハッシュ (ImageHash) | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources（インポートライブラリリソース) | 6.4.5 | 活用 | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 |
| ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.6.1 | イソデュレーション | 20.11.0 |
| itsdangerous（イッツデンジャラス） | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-ジャンピー | 1.0.0 | ジェダイ | 0.19.1 |
| ジンジャ2 | 3.1.4 | ジッター | 0.8.0 | jmespath | 1.0.1 |
| 「joblib」 | 1.4.2 | ジョブリブスパーク | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | JSONスキーマ | 4.19.2 |
| jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 | Jupyterイベント | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core（ジュピター・コア） | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals (ジュピター サーバー ターミナルズ) | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| ジュピターラボサーバー | 2.25.1 | keras | 3.6.0 | キウィソルバー | 1.4.4 |
| langchain | 0.3.8 | langchain-core | 0.2.41 | ランチェーン・テキスト・スプリッターズ | 0.2.4 |
| 言語コード | 3.4.1 | langsmith | 0.1.129 | 言語データ | 1.2.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| レイジーローダー | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | ライトニング・ユーティリティ | 0.11.9 | リンク化-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | アオザメ | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| マークアップセーフ | 2.1.3 | matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 |
| マッケイブ | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| メムレイ | 1.14.0 | ミスチューン | 2.0.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack (メッセージパック) | 1.1.0 | マルチディクト | 6.0.4 |
| マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | マーマーハッシュ (murmurhash) | 1.0.11 |
| マイピー | 1.10.0 | mypy-extensions (マイパイ拡張機能) | 1.0.0 | namex | 0.0.8 |
| nbclient（エヌビー・クライアント） | 0.8.0 | NBコンバート | 7.10.0 | nbフォーマット | 5.9.2 |
| nest-asyncio（ネスト・アサインキオ） | 1.6.0 | networkx | 3.2.1 | 忍者 | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | ノートブック | 7.0.8 |
| ノートブックシム | 0.2.3 | numba | 0.59.1 | NumPy (数値計算ライブラリ) | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
| nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
| nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
| nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 |
| nvidia-nvtx-cu12 | 12.4.127 | oauthlib | 3.2.0 | オーシーアイ | 2.139.0 |
| オープンAI | 1.55.1 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opentelemetry-api | 1.28.2 | opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.28.2 | OpenTelemetryセマンティック規約 | 0.49b2 |
| opt_einsum | 3.4.0 | オプツリー | 0.12.1 | optuna | 3.6.1 |
| optuna-integration | 3.6.0 | orjson | 3.10.12 | オーバーライド | 7.4.0 |
| 包装 | 24.1 | パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 |
| paramiko | 3.4.0 | パルソ | 0.8.3 | パススペック | 0.10.3 |
| パッツィ | 0.5.6 | ペキスペクト | 4.8.0 | フィック | 0.12.4 |
| 枕 | 10.3.0 | 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 |
| plotly - データビジュアライゼーションツール | 5.22.0 | プラグイン管理ツール | 1.0.0 | pmdarima | 2.0.4 |
| ワンちゃん | 1.8.2 | ポータルロッカー | 2.10.1 | プレシェッド | 3.0.9 |
| prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.43 | 預言者 | 1.1.5 |
| proto-plus | 1.24.0 | プロトバフ | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-spy | 0.3.14 | pyarrow (パイアロー) | 15.0.2 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.6 | ピッコロ | 0.0.65 | pycparser（パイシーパーサー） | 2.21 |
| Pythonのデータバリデーションライブラリ「pydantic」 | 2.8.2 | pydantic_core | 2.20.1 | パイフレークス | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| PyNaCl | 1.5.0 | pyodbc (Pythonのデータベース接続用ライブラリ) | 5.0.1 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 24.0.0 |
| パイパーシング (Pyparsing) | 3.0.9 | pyright | 1.1.294 | pytesseract | 0.3.10 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 | パイソンエディター | 1.0.4 | python-json-logger | 2.0.7 |
| python-lsp-jsonrpc | 1.1.2 | Python LSP サーバー | 1.10.0 | python-snappy | 0.6.1 |
| Pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 | pytz | 2024.1 |
| PyWavelets | 1.5.0 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| アンケート | 1.10.0 | 鱏 | 2.35.0 | 参照 | 0.30.2 |
| RegEx | 2023年10月3日 | リクエスト | 2.32.2 | requests-oauthlib | 1.3.1 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | 裕福 | 13.3.5 |
| ロープ | 1.12.0 | rpds-py | 0.10.6 | RSA（アールエスエー） | 4.9 |
| ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 |
| セーフテンソル | 0.4.4 | scikit-image（Pythonの画像処理ライブラリ） | 0.23.2 | scikit-learn（サイキット・ラーン） | 1.4.2 |
| scipy (Pythonライブラリ) | 1.13.1 | seaborn（シーボーン） | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 |
| センテンス・トランスフォーマー | 3.3.1 | sentencepiece（センテンスピース） | 0.2.0 | setuptools（セットアップツール） | 74.0.0 |
| シャープ | 0.46.0 | シェリンガム | 1.5.4 | simplejson | 3.17.6 |
| 6 | 1.16.0 | スライサー | 0.0.8 | スマートオープン | 5.2.1 |
| smmap | 5.0.0 | スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 |
| スープこし器 (soup strainer) | 2.5 | soxr | 0.5.0.post1 | スペーシー | 3.7.5 |
| spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.5 | SQLAlchemy | 2.0.30 |
| sqlparse | 0.4.2 | まじで | 2.4.8 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スタニオ | 0.5.1 | statsmodels（スタッツモデルズ） | 0.14.2 |
| sympy (ライブラリ) | 1.13.1 | 一覧にする | 0.9.0 | 「tangled」-up-in-ユニコード | 0.2.0 |
| 粘り強さ | 8.2.2 | TensorBoard | 2.17.0 | テンソルボード・データサーバー | 0.7.2 |
| tensorboard-plugin-profile | 2.18.0 | tensorboardX | 2.6.2.2 | テンソルフロー | 2.18.0 |
| tensorflow-estimatorツール | 2.15.0 | termcolor | 2.4.0 | 終了しました | 0.17.1 |
| テキスト | 0.87.1 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| Threadpoolctl | 2.2.0 | tifffile (ティフファイル) | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.20.0 |
| tomli | 2.0.1 | 電灯 | 2.5.0+cu124 | torch-optimizer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.4.0.post0 | torchvision 라이브러리 | 0.20.0+cu124 |
| 竜巻 | 6.4.1 | tqdm | 4.66.4 | traitlets（トレイトレット） | 5.14.3 |
| トランスフォーマー | 4.46.3 | トライトン | 3.1.0 | タイプガード | 4.3.0 |
| タイピスト | 0.14.0 | types-protobuf（タイプス-プロトバフ） | 3.20.3 | types-psutil | 5.9.0 |
| types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 | リクエストの種類 | 2.31.0.0 |
| typesセットアップツール | 68.0.0.0 | タイプ六 | 1.16.0 | types-urllib3 | 1.26.25.14 |
| タイピングエクステンションズ (typing_extensions) | 4.11.0 | uc-micro-py | 1.0.1 | ujson | 5.10.0 |
| 無人アップグレード | 0.1 | uri-template | 1.3.0 | urllib3 | 1.26.16 |
| バリデーター | 0.34.0 | virtualenv | 20.26.2 | ビジョン | 0.7.5 |
| wadllib | 1.3.6 | わさび | 1.1.3 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| 鼬 | 0.4.1 | webcolors | 24.8.0 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 1.8.0 | ウェブソケット | 11.0.3 | Werkzeug | 3.0.3 |
| whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.43.0 | ワードクラウド | 1.9.3 |
| 包まれた | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf (ヤップフ) | 0.33.0 | ヤール | 1.9.3 |
| ydata-profiling | 4.9.0 | ジップ | 3.17.0 | zstd | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime 16.1 の R ライブラリ と同じです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 16.1 のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 16.1 ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |