適用対象:✅ ファブリック データ エンジニアリングとデータ サイエンス
カスタム ライブ プールは事前にウォームされた Spark クラスターであり、Microsoft Fabric のノートブック ベースのワークロードにほぼ瞬時にセッションを開始できます。 カスタム ライブ プールは、実行のたびにクラスターのプロビジョニングを待つ代わりに、構成されたスケジュール期間中にクラスターをウォームに保ち、対話型およびスケジュールされたノートブックに対して 5 秒のセッション開始時刻を有効にします。
カスタム ライブ プールを使用する理由
Fabric の標準 Spark セッションでは、セッションが開始されるたびにクラスター プロビジョニングが必要です。 対話型、スケジュール、パイプラインによってトリガーされるかにかかわらず、頻繁にノートブックを実行するチームの場合、このプロビジョニング時間は反復サイクルが遅くなり、ジョブの全体的な待機時間が長くなる可能性があります。
カスタム ライブ プールは、次の方法でこれに対処します。
- ユーザー定義のスケジュールに基づいて事前にクラスターをハイドレートするため、ワークロードが到着したときにコンピューティングの準備が整います。
- クラスターの数とライブラリ構成に使用される環境を正確に制御できます。
- スケジュールされた期間中に、サポートされているすべてのノートブック セッションの種類に対して一貫したスタートアップ パフォーマンス (最大 5 秒) を提供します。
カスタム ライブ プールは、Fabric の既存のスターター プールとカスタム Spark プール オプションを補完します。
| コンピューティング オプション | 起動時間 | スケジュールベース | カスタム ライブラリ | サポートされるワークロード |
|---|---|---|---|---|
| スターター プール | 5 ~ 10 秒 (ライブラリなし) | いいえ | いいえ | ノートブック、SJD |
| カスタム Spark プール | ~1分 | いいえ | 環境経由 | ノートブック、SJD |
| カスタム ライブ プール | ~5秒~10秒 (ハイドレーション完了後) | はい | 環境を通して | ノートブックのみ (対話型およびスケジュール済み) |
主な概念
次の概念では、クラスターの準備方法、使用できるタイミング、容量とライブラリの構成の管理方法など、カスタム ライブ プールのしくみについて説明します。
ハイドレーションとウォームアップ
カスタム ライブ プールを作成して発行すると、ファブリックはスケジュールされたウィンドウの前にクラスターの準備を開始します。 ハイドレーションとは、クラスターが完全にプロビジョニングされ、接続された環境で構成され、セッション要求が到着するまでウォーム状態に保持されていることを意味します。
最大 5 秒の起動時間は、プールが完全にハイドレートされた後にのみ使用できます。 初期セットアップ中または構成の変更直後に、ハイドレーションの完了中にセッションの起動時間が長くなる場合があります。 トラブルシューティングについては、「 ハイドレーションに予想以上に時間がかかる」を参照してください。
スケジュール
すべてのカスタム ライブ プールには、プールがアクティブなタイミングを定義するスケジュールが必要です。 クラスターはスケジュールされた期間中のみウォームに保たれ、課金はクラスターが割り当てられている間のみ行われます。 スケジュールが期限切れになった場合、またはクラスターが構成されたしきい値を超えてアイドル状態になると、Fabric によって割り当てが解除され、課金が停止します。
チームが必要なときにウォーム コンピューティングを使用できるように、予想されるワークロード ウィンドウをカバーするようにスケジュールを計画します。 構成手順とベスト プラクティスについては、「 ライブ プールの構成」を参照してください。
環境アタッチメント
各カスタム ライブ プールは、ファブリック環境にアタッチされます。 環境は、ハイドレートされたクラスターにプレインストールされるライブラリを制御します。 ライブラリを更新するには、環境を変更して再発行する必要があります。 既存のハイドレートされたクラスターは、次回のスケジュールされたハイドレーションまたは手動更新まで、新しいライブラリで更新されません。 構成手順については、「 ライブ プールの構成」を参照してください。
ライブラリの発行モード
アタッチされた環境のライブラリ発行モードによって、ハイドレートされたクラスターにライブラリを配信する方法が決まります。
- フル モード: 環境の発行中にライブラリが解決され、ハイドレートされたクラスター イメージにベイクされます。 セッションが開始されると、クラスターにフル モードのスナップショットが既に存在し、約 5 秒のセッションが開始されます。 可能な限り最速のセッション起動で安定した再現可能なライブラリ セットが必要な場合は、フル モードを使用します。
- クイック モード: ライブラリはハイドレートされたクラスターにプレインストールされていません。 代わりに、ノートブック セッションの開始時にインストールされます。 ハイドレートされたクラスターでは引き続き高速なコンピューティング割り当てが提供されますが、セッション開始時にライブラリをインストールすると時間が追加されます。 ライブラリの安定性がそれほど重要でない場合は、開発時の迅速な反復にクイック モードを使用します。
注
Notebook Resources フォルダーとインライン ライブラリのインストール (コード セル内の %pip install など) は、手動のセッションごとのアプローチです。 これらは環境発行モードとは無関係であり、ハイドレートされたクラスターにプレインストールされているライブラリには影響しません。
クラスターの容量
各プールには、構成中に設定した最大クラスター数があります。 Fabric では、この値を超えてプールが自動的にスケーリングされることはありません。 すべてのハイドレートされたクラスターが使用中の場合、追加のジョブはオンデマンド プロビジョニングにフォールバックします。これは、ライブラリ パッケージの依存関係に応じて約 3 ~ 5 分以上かかります。 サイズ設定のガイダンスについては、「 クラスターのサイズ設定」を参照してください。
サポートされるワークロード
カスタム ライブ プールでは、次の種類のノートブック ベースの Spark セッションがサポートされます。
- Fabric ポータルから実行される対話型ノートブック
- ノートブック スケジューラで構成されたスケジュールされたノートブックの実行
- パイプラインによってトリガーされるノートブックの実行タスク
注
Spark ジョブ定義 (バッチ ジョブ) は、カスタム ライブ プールの現在のリリースではサポートされていません。
容量とライセンス
カスタム ライブ プールには、有料の Microsoft Fabric 容量 SKU が必要です。 Fabric 試用版の容量は現在サポートされていません。
使用可能な容量 SKU の詳細については、 Microsoft Fabric の概念とライセンスを参照してください。
アクセス制御
ワークスペース ロールの割り当てによって、カスタム ライブ プールの構成と状態へのアクセスが制御されます。
| 役割 | アクセス許可 |
|---|---|
| 閲覧者またはメンバー | プールの状態と構成への読み取り専用アクセス |
| 管理者 | 構成、保存、および発行に関する完全なアクセス許可 |
カスタム ライブ プールと対話するには、B2B ゲスト ユーザーに明示的なワークスペース ロールを割り当てる必要があります。
制限事項
現在のリリースのカスタム ライブ プールには、次の制約が適用されます。
- セッションは、プールが完全にハイドレートされた後、最大 5 秒で開始されます。 初期セットアップ中または構成を変更した後は、起動時間が長くなる可能性があります。
- ライブラリの変更には、アタッチされた環境を再発行する必要があります。 ハイドレートされたクラスターは自動的に更新されません。
- アタッチされた環境で一部のライブラリにクイック モードが使用されている場合、それらのライブラリはハイドレートされたクラスターにプレインストールされないため、セッションの開始時にインストールする必要があります。 カスタム ライブ プールを使用してセッションを最速で起動するには、ライブラリの依存関係にフル モードを使用します。
- ノートブックベースの Spark セッションのみがサポートされています。 Spark ジョブ定義はサポートされていません。
- ファブリックの試用版容量はサポートされていません。
- すべてのプールにはスケジュールが必要です。 スケジュールのないプールは発行できません。
- カスタム ライブ プールは、環境パブリック API または CI/CD パイプラインを使用して管理することはできません。 構成は、Fabric ポータルを使用して実行する必要があります。