Fabric 環境での Spark コンピューティング構成設定

Microsoft Fabric のデータ エンジニアリングとデータ サイエンスのエクスペリエンスは、フル マネージドの Spark コンピューティング プラットフォームで動作します。 既定では、ワークスペース内のすべての Spark ジョブは同じプールとリソース設定を共有しますが、ワークロードによって要件が異なることがよくあります。 軽量データ変換では、大規模な機械学習ジョブと同じドライバー メモリは必要ありません。

ファブリック環境を使用すると、ワークロードごとに Spark コンピューティング構成を調整できるため、ワークスペース全体の既定値を変更することなく、各ノートブックまたは Spark ジョブ定義を適切なランタイム バージョン、プール、ドライバー/Executor のサイズ設定で実行できます。

ワークスペース レベルのコンピューティング設定を構成する

ワークスペース管理者は、環境項目がワークスペースの既定のコンピューティング構成をオーバーライドできるかどうかを制御します。 アイテム レベルのカスタマイズを無効にしておくと、ワークスペース全体で一貫したリソース使用量が確保されます。 これを有効にすると、メンバーと共同作成者は、個々のワークロードのコンピューティングを柔軟に調整できます。

1. ブラウザーで、 Fabric ポータルで Fabric ワークスペースに移動します。

2. ワークスペース設定を選択します。

3. [データ エンジニアリング/サイエンス] を選択し、[Spark の設定] を選択します。

4. [ プール ] タブを選択します。

5. 項目のコンピュート構成をカスタマイズトグルをオンに切り替えます。

   

   このトグルがオンの場合、メンバーと共同作成者は Fabric 環境でセッション レベルのコンピューティング構成を変更できます。 オフにすると、環境項目の [コンピューティング ] セクションが無効になり、すべての Spark ジョブでワークスペースの既定のプールが使用されます。

6. 保存を選びます。

環境でコンピューティングを構成する

ワークスペース管理者が項目レベルのカスタマイズを有効にしたら、環境項目内でコンピューティング設定を構成できます。 これには、Spark ランタイムの選択、プールの選択、ドライバーと Executor リソースのチューニングが含まれます。

Spark ランタイムを選択する

1. 環境項目を開きます。

2. [ ホーム ] タブで、[ ランタイム ] ドロップダウンを選択し、ランタイム バージョンを選択します。

   

各 Spark ランタイム には、独自の既定の設定とプレインストールされたパッケージがあります。

プールを選択してコンピューティング プロパティを調整する

1. 環境を開き、[ コンピューティング ] セクションに移動します。

2. [ 環境プール] で、ワークスペース管理者によって作成されたスターター プールまたはカスタム プールを選択します。

   

3. [ コンピューティング ] ページのドロップダウンを使用して、選択したプールのセッション レベルの Spark プロパティを構成します。 使用可能な値は、プールのノード サイズによって異なります。

   

   プロパティの例としては、以下があります。

   • Spark ドライバー コア – Spark ドライバーに割り当てられたコアの数。
   • Spark ドライバー メモリ – Spark ドライバーに割り当てられたメモリの量。
   • Spark Executor コア – 各 Executor に割り当てられたコアの数。
   • Spark executor メモリ – 各 executor に割り当てられたメモリ量。

使用可能なプールのサイズとリソースの制限の詳細については、 Fabric の Spark コンピューティングに関するページを参照してください。

関連コンテンツ

• Fabric で環境を作成、構成、使用する
• Fabric の Apache Spark ランタイム
• Fabric の Spark コンピューティング