Azure Databricks は、マネージド クラスター ランタイムから完全なサーバーレス GPU 環境まで、さまざまな機械学習ニーズに合わせた柔軟なコンピューティング ソリューションを提供します。
| Compute | 説明 |
|---|---|
| AI ランタイム | カスタムの単一ノードおよびマルチノードのディープ ラーニング ワークロード向けに最適化されたサーバーレス GPU コンピューティング環境。 |
| Machine Learning 用 Databricks ランタイム | クラシック 機械学習とディープ ラーニング ワークロード用の事前構築済みライブラリを備えたクラシック コンピューティング環境。 |
AI ランタイム (プレビュー)
Important
この機能は パブリック プレビュー段階です。
AI ランタイム は、Databricks サーバーレス エコシステム内の特殊なオファリングです。 これは、LLM の微調整やコンピューター ビジョン モデルのトレーニングなど、カスタムの単一ノードおよびマルチノードディープ ラーニング ワークロード用に最適化されています。 サーバーレス コンピューティングが Databricks アーキテクチャにどのように適合するかの概要については、「サーバーレス ワークスペースアーキテクチャ」を参照してください。
主な特徴は次のとおりです。
- 即時可用性: 基になるクラスター インフラストラクチャを管理する必要がなくなります。これにより、ノートブックをサーバーレス GPU リソースに直接接続できます。
- ハイ パフォーマンス ハードウェア: コスト効率の高いタスクのために A10 GPU へのアクセスを提供します。
- マネージド環境: 完全なカスタマイズ用の既定の基本環境、または Transformers や Ray などの一般的な ML パッケージが事前に読み込まれた AI 環境を提供します。
- 柔軟なスケーリング: 複数の GPU とノードにわたる分散トレーニングをサポートします。
Machine Learning 用 Databricks ランタイム
Databricks Runtime for Machine Learning は、事前に構築されたインフラストラクチャを使用してコンピューティング リソースの作成を自動化する特殊なランタイムです。 これは、従来の機械学習とディープ ラーニングの両方に対して、包括的ですぐに使用できる環境を必要とするユーザー向けに設計されています。
主な特徴は次のとおりです。
- プレインストール済みライブラリ: PyTorch、TensorFlow、XGBoost などの一般的なライブラリが含まれており、頻繁な更新プログラムと最適化されたサポートを受け取ります。
- コンピューティングの汎用性: CPU ベースと GPU ベースのインスタンスタイプの両方をサポートします。AWS Graviton を含め、価格からパフォーマンスを向上させます。
- 最適化: Photon との統合を提供して、Spark SQL、DataFrame、および特徴エンジニアリング タスクを高速化します。
- アクセス制御: Unity カタログを介したセキュリティで保護されたデータ アクセスには、専用のアクセス モードが必要です。