注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
databricks Runtime 16.0 for Machine Learningは、Databricks Runtime 16.0 (EoS) に基づいて、machine learningとデータ サイエンス用の準備完了のto-go 環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML では、TorchDistributor、DeepSpeed、Ray を使用した分散型ディープ ラーニング トレーニングもサポートされています。
新機能と機能強化
Databricks Runtime 16.0 ML は、Databricks Runtime 16.0 の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 16.0 の新機能については、 Databricks Runtime 16.0 (EoS) のリリース ノートを参照してください。
新しいPython パッケージ
次のPython パッケージが Databricks Runtime ML に追加されました。
- composer 0.24.1
- optuna 3.6.1
予測の AutoML サンプルの重み
AutoML では、予測のサンプル重みがサポートされるようになりました。これにより、複数の時系列予測モデルをトレーニングするための各時系列の重要度を調整できます。 詳細については、AutoML Python API のforecasting パラメーターを参照してください。
Unity カタログのビューを機能テーブルとして使用する
Unity カタログのビューを機能テーブルとして使用できるようになりました。 「 Unity カタログの既存のビューを機能テーブルとして使用するを参照してください。
その他の変更
Horovod、HorovodRunner、Petastorm、 spark-tensorflow-distributor 削除
以前のバージョンの Databricks Runtime ML に含まれていた次のパッケージは、Databricks Runtime 16.0 ML には含まれていません。
- Horovod
- HorovodRunner
- Petastorm
spark-tensorflow-distributor
Databricks では、次の置き換えを推奨しています。
- 分散ディープ ラーニングの場合、Databricks では、PyTorch での分散トレーニングに TorchDistributor を使用するか、TensorFlow を使用した分散トレーニング用の
tf.distribute.StrategyAPI を使用することをお勧めします。 - クラウド ストレージから大規模なデータセットを読み込む場合、Databricks では Mosaic Streaming を使用することをお勧めします。
- TensorFlow または Keras モデルの分散トレーニングでは、Databricks では Ray の使用をお勧めします。 Databricks の Ray と Ray のドキュメントを参照してください。
システム環境
Databricks Runtime 16.0 ML のシステム環境は、次のように Databricks Runtime 16.0 と異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 16.0 ML に含まれている、Databricks Runtime 16.0 に含まれるライブラリとは異なるライブラリを示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 16.0 ML には、次の最上位レベルの ライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- トランスフォーマー
Python ライブラリ
Databricks Runtime 16.0 ML では、Python パッケージ管理に virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
Databricks Runtime 16.0 ML には、次のセクションで指定したパッケージに加えて、次のパッケージも含まれています。
- hyperopt 0.2.7+db5
- automl 1.29.0
ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-16.0.txt ファイルをダウンロードし、pip install -r requirements-16.0.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのopen source ライブラリをインストールしますが、databricks-automl、databricks-feature-engineering、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPUクラスター上のPythonライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | alembic | 1.13.3 |
| 注釈付き型 | 0.7.0 | anyio | 4.2.0 | アーグコンプリート | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 |
| アスター | 0.8.1 | アストトークン | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | 属性 | 23.1.0 | audioread | 3.0.1 |
| 自動コマンド | 2.2.2 | azure-core (アジュール コア) | 1.31.0 | azure-cosmos | 4.3.1 |
| azure-identity (アズール・アイデンティティ) | 1.18.0 | アジュール・ストレージ・ブロブ | 12.23.1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 |
| バベル | 2.11.0 | バックオフ | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt（ビークリプト） | 3.2.0 | beautifulsoup4 | 4.12.3 | 黒い | 24.4.2 |
| 漂白剤 | 4.1.0 | ウインカー | 1.7.0 | ブリス | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| キャッシュツールズ (cachetools) | 5.3.3 | カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 |
| サーティフィ | 2024年6月2日 | cffi | 1.16.0 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | サーキットブレーカー | 2.0.0 | クリック | 8.1.7 |
| cloudpathlib | 0.19.0 | クラウドピックル | 2.2.1 | cmdstanpy | 1.2.4 |
| colorful (カラフル) | 0.5.6 | colorlog | 6.8.2 | 通信 | 0.2.1 |
| Composer | 0.24.1 | お菓子 | 0.1.5 | configparser (コンフィグパーサー) | 5.2.0 |
| コンツアーピー | 1.2.0 | クールネーム | 2.2.0 | 暗号 | 42.0.5 |
| サイクリスト | 0.11.0 | サイメム | 2.0.8 | Cython | 3.0.11 |
| ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.7.0 |
| databricks-sdk（データブリックスSDK） | 0.30.0 | データセット | 2.20.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | デコレータ | 5.1.1 |
| ディープスピード | 0.14.4 | デフューズドXML (defusedxml) | 0.7.1 | 非推奨 | 1.2.14 |
| ディル | 0.3.8 | distlib | 0.3.8 | dmツリー | 0.1.8 |
| ドックストリングをMarkdownに変換 | 0.11 | 入口点 | 0.4 | 評価する | 0.4.2 |
| 実行中 | 0.8.3 | ファセット概要 | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 |
| Flask | 2.2.5 | フラットバッファーズ | 24.3.25 | fonttools（フォントツールズ） | 4.51.0 |
| FQDN | 1.5.1 | フローズンリスト | 1.4.0 | fsspec | 2023.5.0 |
| 未来 | 0.18.3 | ガスト | 0.4.0 | ギットディービー | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth（Google認証） | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.10.0 |
| google-crc32c（GoogleのCRC32Cライブラリ） | 1.6.0 | グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 |
| Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 | gql | 3.5.0 | graphql-core | 3.2.4 |
| グリーンレット | 3.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 | 体育館 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.11.0 | hjson | 3.1.0 |
| 休日 | 0.54 | HTML最小化ツール（htmlmin） | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.4 | httpx | 0.27.2 | huggingface-hub（ハギングフェイスのハブ） | 0.24.5 |
| IDNA | 3.7 | イメージハッシュ (ImageHash) | 4.3.1 | imageio | 2.33.1 |
| imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources（インポートライブラリリソース) | 6.4.5 |
| 屈折 | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets (インタラクティブウィジェット) | 7.7.2 |
| アイソデート | 0.6.1 | イソデュレーション | 20.11.0 | itsdangerous（イッツデンジャラス） | 2.2.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jax-ジャンピー | 1.0.0 | ジェダイ | 0.19.1 | ジンジャ2 | 3.1.4 |
| ジッター | 0.5.0 | jmespath | 1.0.1 | 「joblib」 | 1.4.2 |
| ジョブリブスパーク | 0.5.1 | json5 | 0.9.6 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | JSONスキーマ | 4.19.2 | jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 |
| Jupyterイベント | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
| jupyter_core（ジュピター・コア） | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals (ジュピター サーバー ターミナルズ) | 0.4.4 |
| jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 | ジュピターラボサーバー | 2.25.1 |
| keras | 3.5.0 | キウィソルバー | 1.4.4 | langchain | 0.2.12 |
| langchain-core | 0.2.41 | ランチェーン・テキスト・スプリッターズ | 0.2.4 | 言語コード | 3.4.1 |
| langsmith | 0.1.129 | 言語データ | 1.2.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | レイジーローダー | 0.4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | lightgbm | 4.5.0 |
| ライトニング・ユーティリティ | 0.11.7 | リンク化-it-py | 2.0.0 | llvmlite | 0.42.0 |
| lz4 | 4.3.2 | アオザメ | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | マークアップセーフ | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 | マッケイブ | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | メムレイ | 1.14.0 |
| ミスチューン | 2.0.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.4.1 | mlflow-skinny | 2.15.1 |
| more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.8.0 |
| mpmath | 1.3.0 | msal | 1.31.0 | msal-extensions | 1.2.0 |
| msgpack (メッセージパック) | 1.1.0 | マルチディクト | 6.0.4 | マルチメソッド | 1.12 |
| マルチプロセス | 0.70.16 | マーマーハッシュ (murmurhash) | 1.0.10 | マイピー | 1.10.0 |
| mypy-extensions (マイパイ拡張機能) | 1.0.0 | namex | 0.0.8 | nbclient（エヌビー・クライアント） | 0.8.0 |
| NBコンバート | 7.10.0 | nbフォーマット | 5.9.2 | nest-asyncio（ネスト・アサインキオ） | 1.6.0 |
| networkx | 3.2.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
| nodeenv | 1.9.1 | ノートブック | 7.0.8 | ノートブックシム | 0.2.3 |
| numba | 0.59.1 | NumPy (数値計算ライブラリ) | 1.26.4 | nvidia-ml-py | 12.560.30 |
| oauthlib | 3.2.0 | オーシーアイ | 2.135.0 | オープンAI | 1.40.2 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.27.0 |
| opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.27.0 | OpenTelemetryセマンティック規約 | 0.48b0 | opt_einsum | 3.4.0 |
| オプツリー | 0.12.1 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.7 | オーバーライド | 7.4.0 | パッケージング | 24.1 |
| パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 | paramiko | 3.4.0 |
| パルソ | 0.8.3 | パススペック | 0.10.3 | パッツィ | 0.5.6 |
| ペキスペクト | 4.8.0 | フィック | 0.12.4 | 枕 | 10.3.0 |
| 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 | plotly - データビジュアライゼーションツール | 5.22.0 |
| プラグイン管理ツール | 1.0.0 | pmdarima | 2.0.4 | ワンちゃん | 1.8.2 |
| ポータルロッカー | 2.10.1 | プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 |
| prompt-toolkit（プロンプトツールキット） | 3.0.43 | 預言者 | 1.1.5 | proto-plus | 1.24.0 |
| プロトバフ | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.3.14 | pyarrow (パイアロー) | 15.0.2 | pyarrow-hotfix | 0.6 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 |
| ピッコロ | 0.0.65 | pycparser（パイシーパーサー） | 2.21 | Pythonのデータバリデーションライブラリ「pydantic」 | 2.8.2 |
| pydantic_core | 2.20.1 | パイフレークス | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc (Pythonのデータベース接続用ライブラリ) | 5.0.1 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 24.0.0 | パイパーシング (Pyparsing) | 3.0.9 |
| pyright | 1.1.294 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 |
| パイソンエディター | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| Python LSP サーバー | 1.10.0 | python-snappy | 0.6.1 | Pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | アンケート | 1.10.0 |
| 鱏 | 2.35.0 | 参照元 | 0.30.2 | RegEx | 2023年10月3日 |
| リクエスト | 2.32.2 | requests-oauthlib | 1.3.1 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | 裕福 | 13.3.5 | ロープ | 1.12.0 |
| rpds-py | 0.10.6 | RSA（アールエスエー） | 4.9 | ruamel.yaml | 0.18.6 |
| ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 | セーフテンソル | 0.4.4 |
| scikit-image（Pythonの画像処理ライブラリ） | 0.23.2 | scikit-learn（サイキット・ラーン） | 1.4.2 | scipy (Pythonライブラリ) | 1.13.1 |
| seaborn（シーボーン） | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 | センテンス・トランスフォーマー | 3.0.1 |
| sentencepiece（センテンスピース） | 0.2.0 | setuptools（セットアップツール） | 74.0.0 | シャープ | 0.46.0 |
| シェリンガム | 1.5.4 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.8 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 | スープこし器 (soup strainer) | 2.5 |
| soxr | 0.5.0.post1 | スペーシー | 3.7.5 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| まじで | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| スタニオ | 0.5.1 | statsmodels（スタッツモデルズ） | 0.14.2 | sympy (ライブラリ) | 1.12 |
| 一覧にする | 0.9.0 | 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.2.2 |
| TensorBoard | 2.17.0 | テンソルボード・データサーバー | 0.7.2 | tensorboard-plugin-profile | 2.17.0 |
| tensorboardX | 2.6.2.2 | テンソルフロー | 2.18.0 | tensorflow-estimatorツール | 2.15.0 |
| termcolor | 2.4.0 | 終了しました | 0.17.1 | テキスト | 0.81.0 |
| tf_keras | 2.17.0 | thinc | 8.2.5 | Threadpoolctl | 2.2.0 |
| tifffile (ティフファイル) | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| トークナイズ-RT | 4.2.1 | トークナイザー | 0.19.1 | tomli | 2.0.1 |
| 電灯 | 2.4.0 + cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.4.0.post0 | torchvision 라이브러리 | 0.19.0+cpu | 竜巻 | 6.4.1 |
| tqdm | 4.66.4 | traitlets（トレイトレット） | 5.14.3 | トランスフォーマー | 4.44.0 |
| タイプガード | 4.3.0 | タイピスト | 0.12.5 | types-protobuf（タイプス-プロトバフ） | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| リクエストの種類 | 2.31.0.0 | typesセットアップツール | 68.0.0.0 | タイプ六 | 1.16.0 |
| types-urllib3 | 1.26.25.14 | タイピングエクステンションズ (typing_extensions) | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | 無人アップグレード | 0.1 | uri-template | 1.3.0 |
| urllib3 | 1.26.16 | バリデーター | 0.34.0 | virtualenv | 20.26.2 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | わさび | 1.1.3 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | 鼬 | 0.4.1 | webcolors | 24.8.0 |
| ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 1.8.0 | ウェブソケット | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.43.0 |
| ワードクラウド | 1.9.3 | 包まれた | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf (ヤップフ) | 0.33.0 |
| ヤール | 1.9.3 | ydata-profiling | 4.9.0 | ジップ | 3.17.0 |
| zstd | 1.5.5.1 |
GPU クラスター上のPython ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | 注釈付き型 | 0.7.0 |
| anyio | 4.2.0 | アーグコンプリート | 3.5.0 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| 属性 | 23.1.0 | audioread | 3.0.1 | 自動コマンド | 2.2.2 |
| azure-core (アジュール コア) | 1.31.0 | azure-cosmos | 4.3.1 | azure-identity (アズール・アイデンティティ) | 1.18.0 |
| アジュール・ストレージ・ブロブ | 12.23.1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 | バベル | 2.11.0 |
| バックオフ | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt（ビークリプト） | 3.2.0 |
| beautifulsoup4 | 4.12.3 | 黒い | 24.4.2 | 漂白剤 | 4.1.0 |
| ウインカー | 1.7.0 | ブリス | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | キャッシュツールズ (cachetools) | 5.3.3 |
| カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2024年6月2日 |
| cffi | 1.16.0 | チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 |
| サーキットブレーカー | 2.0.0 | クリック | 8.1.7 | cloudpathlib | 0.19.0 |
| クラウドピックル | 2.2.1 | cmdstanpy | 1.2.4 | colorful (カラフル) | 0.5.6 |
| colorlog | 6.8.2 | 通信 | 0.2.1 | Composer | 0.24.1 |
| お菓子 | 0.1.5 | configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.2.0 |
| クールネーム | 2.2.0 | 暗号 | 42.0.5 | サイクリスト | 0.11.0 |
| サイメム | 2.0.8 | Cython | 3.0.11 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.7.0 | databricks-sdk（データブリックスSDK） | 0.30.0 |
| データセット | 2.20.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | デコレータ | 5.1.1 | ディープスピード | 0.14.4 |
| デフューズドXML (defusedxml) | 0.7.1 | 非推奨 | 1.2.14 | ディル | 0.3.8 |
| distlib | 0.3.8 | dmツリー | 0.1.8 | ドックストリングをMarkdownに変換 | 0.11 |
| einops | 0.8.0 | 入口点 | 0.4 | 評価する | 0.4.2 |
| 実行中 | 0.8.3 | ファセット概要 | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 |
| flash_attn | 2.5.6 | Flask | 2.2.5 | フラットバッファーズ | 24.3.25 |
| fonttools（フォントツールズ） | 4.51.0 | FQDN | 1.5.1 | フローズンリスト | 1.4.0 |
| fsspec | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
| ギットディービー | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
| Googleクラウドストレージ | 2.10.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.6.0 | グーグルパスタ | 0.2.0 |
| google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 | Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | グリーンレット | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | 休日 | 0.54 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.4 | httpx | 0.27.2 |
| huggingface-hub（ハギングフェイスのハブ） | 0.24.5 | IDNA | 3.7 | イメージハッシュ (ImageHash) | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources（インポートライブラリリソース) | 6.4.5 | 屈折 | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 |
| ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.6.1 | イソデュレーション | 20.11.0 |
| itsdangerous（イッツデンジャラス） | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-ジャンピー | 1.0.0 | ジェダイ | 0.19.1 |
| ジンジャ2 | 3.1.4 | ジッター | 0.5.0 | jmespath | 1.0.1 |
| 「joblib」 | 1.4.2 | ジョブリブスパーク | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | JSONスキーマ | 4.19.2 |
| jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 | Jupyterイベント | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core（ジュピター・コア） | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals (ジュピター サーバー ターミナルズ) | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| ジュピターラボサーバー | 2.25.1 | keras | 3.5.0 | キウィソルバー | 1.4.4 |
| langchain | 0.2.12 | langchain-core | 0.2.41 | ランチェーン・テキスト・スプリッターズ | 0.2.4 |
| 言語コード | 3.4.1 | langsmith | 0.1.129 | 言語データ | 1.2.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| レイジーローダー | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | ライトニング・ユーティリティ | 0.11.7 | リンク化-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | アオザメ | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| マークアップセーフ | 2.1.3 | matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 |
| マッケイブ | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| メムレイ | 1.14.0 | ミスチューン | 2.0.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.31.0 |
| msal-extensions | 1.2.0 | msgpack (メッセージパック) | 1.1.0 | マルチディクト | 6.0.4 |
| マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | マーマーハッシュ (murmurhash) | 1.0.10 |
| マイピー | 1.10.0 | mypy-extensions (マイパイ拡張機能) | 1.0.0 | namex | 0.0.8 |
| nbclient（エヌビー・クライアント） | 0.8.0 | NBコンバート | 7.10.0 | nbフォーマット | 5.9.2 |
| nest-asyncio（ネスト・アサインキオ） | 1.6.0 | networkx | 3.2.1 | 忍者 | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | ノートブック | 7.0.8 |
| ノートブックシム | 0.2.3 | numba | 0.59.1 | NumPy (数値計算ライブラリ) | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.2.65 | nvidia-cuda-cupti-cu12 | 12.4.99 | nvidia-cuda-nvrtc-cu12 | 12.4.99 |
| nvidia-cuda-runtime-cu12 | 12.4.99 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.0.44 |
| nvidia-curand-cu12 | 10.3.5.119 | nvidia-cusolver-cu12 | 11.6.0.99 | nvidia-cusparse-cu12 | 12.3.0.142 |
| nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.4.99 |
| nvidia-nvtx-cu12 | 12.4.99 | oauthlib | 3.2.0 | オーシーアイ | 2.135.0 |
| オープンAI | 1.40.2 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.27.0 | OpenTelemetryセマンティック規約 | 0.48b0 |
| opt_einsum | 3.4.0 | オプツリー | 0.12.1 | optuna | 3.6.1 |
| optuna-integration | 3.6.0 | orjson | 3.10.7 | オーバーライド | 7.4.0 |
| パッケージング | 24.1 | パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 |
| paramiko | 3.4.0 | パルソ | 0.8.3 | パススペック | 0.10.3 |
| パッツィ | 0.5.6 | ペキスペクト | 4.8.0 | フィック | 0.12.4 |
| 枕 | 10.3.0 | 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 |
| plotly - データビジュアライゼーションツール | 5.22.0 | プラグイン管理ツール | 1.0.0 | pmdarima | 2.0.4 |
| ワンちゃん | 1.8.2 | ポータルロッカー | 2.10.1 | プレシェッド | 3.0.9 |
| prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.43 | 預言者 | 1.1.5 |
| proto-plus | 1.24.0 | プロトバフ | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-spy | 0.3.14 | pyarrow (パイアロー) | 15.0.2 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.6 | ピッコロ | 0.0.65 | pycparser（パイシーパーサー） | 2.21 |
| Pythonのデータバリデーションライブラリ「pydantic」 | 2.8.2 | pydantic_core | 2.20.1 | パイフレークス | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| PyNaCl | 1.5.0 | pyodbc (Pythonのデータベース接続用ライブラリ) | 5.0.1 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 24.0.0 |
| パイパーシング (Pyparsing) | 3.0.9 | pyright | 1.1.294 | pytesseract | 0.3.10 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 | パイソンエディター | 1.0.4 | python-json-logger | 2.0.7 |
| python-lsp-jsonrpc | 1.1.2 | Python LSP サーバー | 1.10.0 | python-snappy | 0.6.1 |
| Pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 | pytz | 2024.1 |
| PyWavelets | 1.5.0 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| アンケート | 1.10.0 | 鱏 | 2.35.0 | 参照元 | 0.30.2 |
| RegEx | 2023年10月3日 | リクエスト | 2.32.2 | requests-oauthlib | 1.3.1 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | 裕福 | 13.3.5 |
| ロープ | 1.12.0 | rpds-py | 0.10.6 | RSA（アールエスエー） | 4.9 |
| ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 |
| セーフテンソル | 0.4.4 | scikit-image（Pythonの画像処理ライブラリ） | 0.23.2 | scikit-learn（サイキット・ラーン） | 1.4.2 |
| scipy (Pythonライブラリ) | 1.13.1 | seaborn（シーボーン） | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 |
| センテンス・トランスフォーマー | 3.0.1 | sentencepiece（センテンスピース） | 0.2.0 | setuptools（セットアップツール） | 74.0.0 |
| シャープ | 0.46.0 | シェリンガム | 1.5.4 | simplejson | 3.17.6 |
| 6 | 1.16.0 | スライサー | 0.0.8 | スマートオープン | 5.2.1 |
| smmap | 5.0.0 | スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 |
| スープこし器 (soup strainer) | 2.5 | soxr | 0.5.0.post1 | スペーシー | 3.7.5 |
| spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.5 | SQLAlchemy | 2.0.30 |
| sqlparse | 0.4.2 | まじで | 2.4.8 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スタニオ | 0.5.1 | statsmodels（スタッツモデルズ） | 0.14.2 |
| sympy (ライブラリ) | 1.12 | 一覧にする | 0.9.0 | 「tangled」-up-in-ユニコード | 0.2.0 |
| 粘り強さ | 8.2.2 | TensorBoard | 2.17.0 | テンソルボード・データサーバー | 0.7.2 |
| tensorboard-plugin-profile | 2.17.0 | tensorboardX | 2.6.2.2 | テンソルフロー | 2.18.0 |
| tensorflow-estimatorツール | 2.15.0 | termcolor | 2.4.0 | 終了しました | 0.17.1 |
| テキスト | 0.81.0 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| Threadpoolctl | 2.2.0 | tifffile (ティフファイル) | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.19.1 |
| tomli | 2.0.1 | 電灯 | 2.4.0+cu124 | torch-optimizer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.4.0.post0 | torchvision 라이브러리 | 0.19.0+cu124 |
| 竜巻 | 6.4.1 | tqdm | 4.66.4 | traitlets（トレイトレット） | 5.14.3 |
| トランスフォーマー | 4.44.0 | トライトン | 3.0.0 | タイプガード | 4.3.0 |
| タイピスト | 0.12.5 | types-protobuf（タイプス-プロトバフ） | 3.20.3 | types-psutil | 5.9.0 |
| types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 | リクエストの種類 | 2.31.0.0 |
| typesセットアップツール | 68.0.0.0 | タイプ六 | 1.16.0 | types-urllib3 | 1.26.25.14 |
| タイピングエクステンションズ (typing_extensions) | 4.11.0 | uc-micro-py | 1.0.1 | ujson | 5.10.0 |
| 無人アップグレード | 0.1 | uri-template | 1.3.0 | urllib3 | 1.26.16 |
| バリデーター | 0.34.0 | virtualenv | 20.26.2 | ビジョン | 0.7.5 |
| wadllib | 1.3.6 | わさび | 1.1.3 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| 鼬 | 0.4.1 | webcolors | 24.8.0 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 1.8.0 | ウェブソケット | 11.0.3 | Werkzeug | 3.0.3 |
| whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.43.0 | ワードクラウド | 1.9.3 |
| 包まれた | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf (ヤップフ) | 0.33.0 | ヤール | 1.9.3 |
| ydata-profiling | 4.9.0 | ジップ | 3.17.0 | zstd | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime 16.0 の R ライブラリ と同じです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 16.0 のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 16.0 ML には次の JAR が含まれています。
CPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |