Fabric で環境を作成、構成、使用する

Microsoft Fabric 環境は、ノートブックと Spark ジョブ定義の Spark セッション構成を定義するワークスペース項目です。 環境を使用して、Spark ランタイムの選択、コンピューティング設定の構成、ライブラリの管理、ノートブックがアクセスできる小さなリソース ファイルの管理を行います。

この記事では、環境を作成、構成、および使用する方法の概要について説明します。

環境項目を使用する理由

環境項目をアタッチせずに ワークスペースの既定値 を使用して、ノートブックと Spark ジョブ定義を実行できます。 その場合は、ワークスペース レベルの Spark 設定を使用します。

チームの再利用可能な管理された既定値が必要な場合は、環境項目を使用します。

• Spark コンピューティングとライブラリを 1 回定義し、ノートブックと Spark ジョブ定義間で一貫して適用します。
• ユーザーがワークスペースの既定値を使用して共有構成を継承するように、 環境をワークスペースの既定値として設定します。
• 環境設定を 1 つの成果物としてバージョン管理し、操作します。

ワークスペースレベルの環境

ノートブックと Spark ジョブ定義のワークスペース全体の既定値を設定する場合は、このワークフローを使用します。

環境項目は特定のワークスペースに作成され、そのワークスペースに関連付けられます。 共有とワークスペースの互換性の要件が満たされている場合は、アクセス権を持つ他のワークスペースでその環境を使用することもできます。

ワークスペースから環境を作成する

1. ブラウザーで、 Fabric ポータルで Fabric ワークスペースに移動します。

2. [+ 新しい項目] を選択します。

3. 検索バーで "環境" を検索し、[ 環境 ] タイルを選択します。

   

4. 環境に名前を付け、[ 作成] を選択します。

ワークスペースの既定値として環境をアタッチする

ワークスペース管理者は、ワークスペース全体のデフォルトのワークロードを定義できます。 ここで構成した値は、ワークスペース設定に連携するこれらのノートブックと Spark ジョブ定義 に対して有効です。

[ 既定の環境の設定 ] トグルは、 ワークスペースの既定値 が環境項目によってサポートされるかどうかを制御します。

1. ブラウザーで、 Fabric ポータルで Fabric ワークスペースに移動します。

2. ワークスペース設定を選択します。

3. [データ エンジニアリング/サイエンス] を選択し、[Spark の設定] を選択します。

4. [環境] タブを選択します。

   

5. 環境に基づくワークスペースの既定値を使用するには、[ 既定の環境の設定 ] を [オン] に設定し、使用する環境項目を選択して、変更を保存します。

   • このトグルが オフ (既定) の場合、ユーザーには引き続きノートブックと Spark ジョブ定義に ワークスペースの既定値 が表示されます。 この状態では、 ワークスペースの既定 ではワークスペース レベルの Spark 設定が使用されます。
   • このトグルが [オン] の場合は、ワークスペースの既定値として環境項目を選択します。 ワークスペースの既定値を使用するノートブックと Spark ジョブ定義は、その環境の Spark コンピューティングとライブラリの構成を継承します。

   

ノートブックと Spark ジョブ定義レベルの環境

ノートブックまたは Spark ジョブ定義から直接環境を作成、選択、または変更する場合は、このワークフローを使用します。

ノートブックまたは Spark ジョブ定義から環境を作成または変更する

1. ブラウザーで、 Fabric ポータルで Fabric ワークスペースに移動します。

2. ノートブックまたは Spark ジョブ定義を開きます。

3. [ 環境 ] ドロップダウンを選択し、[ 新しい環境] を選択します。

   

   注

   または、新しい環境を作成せずに環境を変更する場合は、ドロップダウン メニューから [環境の変更 ] を選択できます。 既存の環境を選択し、[ 確認 ] を選択してノートブックまたは Spark ジョブ定義にアタッチできます。

4. 環境に名前を付け、[ 作成] を選択します。

ノートブックまたは Spark ジョブ定義に環境をアタッチする

この環境は、 Notebook タブと Spark ジョブ定義 タブの両方で使用できます。 ノートブックと Spark ジョブ定義が環境にアタッチされると、そのライブラリ、コンピューティング構成、およびリソースにアクセスできます。 エクスプローラーには、自分と共有され、現在のワークスペースから取得され、アクセス権を持つ他のワークスペースからのすべての使用可能な環境が一覧表示されます。

アクティブなセッション中に別の環境に切り替えた場合、新しく選択した環境は次のセッションまで有効になりません。

別のワークスペースから環境をアタッチする場合、両方のワークスペースに 同じ容量とネットワーク セキュリティ設定が必要です。 容量やネットワーク セキュリティ設定が異なるワークスペースから環境を選択することはできますが、セッションの開始に失敗します。

別のワークスペースから環境をアタッチすると、その環境内のコンピューティング構成は無視されます。 代わりに、プールとコンピューティングの構成は、既定で現在のワークスペースの設定になります。

環境を構成する

環境には、次の 3 つの主要なコンポーネントがあります。

• Spark ランタイムを含む Spark コンピューティング。
• ライブラリ。
• リソース。

発行を有効にするには、Spark コンピューティングとライブラリの構成が必要です。 リソースは、リアルタイムで変更できる共有ストレージです。 詳細については、「 変更を保存して発行する」を参照してください。

Spark コンピューティングの構成

ランタイムを選択し、セッション レベルのコンピューティング プロパティを設定して、環境で Spark コンピューティングを構成します。

ランタイムの選択やコンピューティングのカスタマイズなど、詳細な手順については、 Fabric 環境での Spark コンピューティング構成の設定に関する記事を参照してください。

ランタイムまたはコンピューティングの設定を変更する場合は、それらの変更を有効にするために環境を保存して発行します。 詳細については、「 変更を保存して発行する」を参照してください。

ライブラリを管理する

各 Spark ランタイムには、組み込みのライブラリが用意されています。 Fabric 環境では、パブリック ソースからライブラリをインストールしたり、自分または組織が構築したカスタム ライブラリをアップロードしたりすることもできます。 ライブラリを正常にインストールすると、Spark セッションでライブラリを使用できるようになります。 詳細については、「Fabric 環境でのライブラリ管理」を参照してください。 Fabric でライブラリを管理するためのベスト プラクティスについては、Fabric での Apache Spark ライブラリの管理に関するページを参照してください。

環境にライブラリを追加する場合は、発行モードを選択します。

• クイック モード では、約 5 秒で発行されます。 ライブラリは、ノートブック セッションの開始時にインストールされます。 開発時の迅速な反復にはクイック モードを使用します。
• フル モード では、安定した再現可能なライブラリ スナップショットが作成されます。 通常、発行には 3 ~ 6 分かかり、セッションの起動では依存関係のデプロイに 1 ~ 3 分かかります。 パイプライン、スケジュールされた実行、および共有ワークロードにはフル モードを使用します。 約 5 秒のセッションをフル モードで開始するには、環境に接続する カスタム ライブ プール を構成します。

各モードの詳細については、「 ライブラリの発行モードを選択する」を参照してください。

リソースを使用する

環境内の [リソース ] セクションでは、開発フェーズ中に小規模なリソースを管理する機能が容易になります。 環境にアップロードされたファイルは、アタッチされているノートブック間でアクセスできます。 詳細については、「 ファブリック環境でのリソースの管理」を参照してください。

変更を保存して発行する

環境構成の変更を有効にするタイミングを制御するには、保存と発行を使用します。

• 保存 すると、保留中の変更が保存されます。
• 発行 により、保留中の変更が ライブラリ と Spark コンピューティングに適用されます。
• リソースの変更はリアルタイムであり、発行は必要ありません。

発行する場合、時間は選択したライブラリ発行モードによって異なります。 クイック モードは約 5 秒で発行されますが、フル モードでは通常、依存関係を解決して安定したスナップショットを作成するのに 3 ~ 6 分かかります。 詳細については、「 ライブラリの発行モードを選択する」を参照してください。

[ホーム] タブで、ライブラリまたは Spark コンピューティングに保留中の変更がある場合に、保存と発行が有効になります。

保留中の変更が存在する場合、バナーには 保存 アクションと発行アクションも 表示 されます。

次のワークフローを使用します。

1. ライブラリまたは Spark コンピューティングに変更を加えます。
2. [ 保存] を 選択して編集を保持します。 保存された変更はステージングされ、まだ有効ではありません。
3. [ 発行] を選択し、[ すべて発行] を選択して、ステージングされた変更を有効にします。

発行プロセス中に:

• 発行プロセスを取り消すには、バナーで [進行状況の表示 ] を選択し、操作を取り消します。
• 発行の完了時には通知が表示されます。 プロセス中に問題がある場合、エラー通知が発生します。

環境では、一度に 1 つの 発行 アクションのみを受け入れます。 進行中の発行アクション中に、ライブラリまたは Spark コンピューティング セクションに変更を加えることはできません。

既存の環境の共有

Fabric では、さまざまなレベルのアクセス許可を持つアイテムの共有がサポートされています。

環境アイテムを共有すると、受信者は自動的に読み取りアクセス許可を受け取ります。 このアクセス許可を使用すると、環境の構成を調べて、ノートブックまたは Spark ジョブにアタッチできます。 コードを円滑に実行するには、ノートブックと Spark ジョブ定義を共有するときに、アタッチされた環境に対する読み取りアクセス許可を付与してください。

また、共有と編集のアクセス許可を使用して環境を共有することもできます。 共有アクセス許可を持つユーザーは、環境を他のユーザーと共有し続けることができます。 一方、編集アクセス許可を持つ受信者は、環境のコンテンツを更新できます。

環境の削除

不要になった環境は削除できます。 環境を削除する前に、次の点を考慮してください。

REST API を使用して環境を削除する

Fabric REST API を使用して、プログラムで環境を削除できます。

エンドポイント:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

必要なアクセス許可: Environment.ReadWrite.All または Item.ReadWrite.All

REST API の詳細については、「 環境の削除」を参照してください。

関連するコンテンツ

• Fabric 環境での Spark コンピューティング構成設定
• Fabric 環境でのライブラリ管理