Notebook アクティビティを使用して、data Factory パイプラインの一部としてMicrosoft Fabricで作成したnotebooksを実行します。 ノートブック を使用すると、Apache Spark ジョブを実行して、データ ワークフローの一部としてデータを取り込んだり、クリーンアップしたり、変換したりできます。 Fabricでパイプラインに Notebook アクティビティを簡単に追加できます。このガイドでは、各手順について説明します。
前提条件
開始するには、次の前提条件を満たしている必要があります。
- プロビジョニングされた capacity を持つMicrosoft Fabric テナントにアクセスできる必要があります。 無料試用版でFabricをお試しください。
- Fabric workspaceその容量に割り当てられます。
- ワークスペースにノートブックが作成されている。 新しいノートブックを作成するには、「ノートブックMicrosoft Fabric作成方法を参照してください。
ノートブック アクティビティを作成する
ワークスペースに新しいパイプラインを作成します。
パイプラインの [アクティビティ] ペイン内でノートブックを検索し、それを選択してパイプライン キャンバスに追加します。
まだ選択されていない場合は、キャンバスで新しいノートブック アクティビティを選択します。
[全般設定] タブを構成するには、全般設定のガイダンスを参照してください。
ノートブックの設定を構成する
[Settings](設定) タブを選択します。
[ 接続] で、ノートブックの実行の認証方法を選択し、必要な資格情報を指定します。
[ノートブック] ドロップダウンから既存のノートブックを選択し、必要に応じてノートブックに渡すパラメーターを指定します。
ノートブック アクティビティでの Fabric ワークスペース ID (WI) の使用
ワークスペース ID を作成する
ワークスペースで WI を有効にする必要があります (読み込みに少し時間がかかる場合があります)。 Fabric ワークスペースにワークスペース ID を作成します。 WI はパイプラインと同じワークスペースに作成する必要があることに注意してください。
ワークスペース ID に関するドキュメントを確認してください。
テナント レベルの設定を有効にする
次のテナント設定を有効にします (既定では無効になっています):Service プリンシパルはパブリック API Fabric呼び出すことができます。
この設定は、Fabric管理ポータルで有効にすることができます。 この設定の詳細については、 管理者 API のサービス プリンシパル認証の有効化に関する記事を参照してください。
ワークスペース ID にワークスペースのアクセス許可を付与する
ワークスペースを開き、[アクセスの管理] を選択し、ワークスペース ID にアクセス許可を割り当てます。 ほとんどのシナリオでは、共同作成者アクセスで十分です。 ノートブックがパイプラインと同じワークスペースにない場合は、パイプラインのワークスペースで作成したワークアイテム (WI) に、ノートブックのワークスペースで少なくとも「共同作成者」のアクセス権を割り当てる必要があります。
セッション タグを設定する
ノートブック ジョブの実行にかかる時間を最小限に抑えるために、必要に応じてセッション タグを設定できます。 セッション タグを設定すると、既存の Spark セッションを再利用するように Spark に指示され、起動時間が最小限に抑えられます。 セッション タグには任意の文字列値を使用できます。 セッションが存在しない場合は、タグ値を使用して新しいセッションが作成されます。
注
セッション タグを使用できるようにするには、複数のノートブックを実行するパイプライン用の高コンカレンシー モード オプションをオンにする必要があります。 このオプションは、[ワークスペース設定] の下にある [Spark 設定] の [高コンカレンシー モード] で確認できます
パイプラインを保存して実行またはスケジュールする
パイプライン エディターの上部にある [ ホーム ] タブに切り替え、[保存] ボタンを選択してパイプラインを保存します。 [ 実行 ] を選択して直接実行するか、特定の時間または間隔で実行をスケジュールする スケジュール を設定します。 パイプラインの実行の詳細については、「パイプラインの実行 をスケジュールする」を参照してください。
実行後、パイプラインの実行を監視し、キャンバスの下にある [出力 ] タブから実行履歴を表示できます。
既知の問題
- サービス プリンシパルを使用してセマンティック リンク コードを含むノートブックを実行するには、機能上の制限があり、セマンティック リンク機能のサブセットのみをサポートします。 詳細については、 サポートされているセマンティック リンク関数 を参照してください。 他の機能を使用するには、サービス プリンシパルを使用して セマンティック リンクを手動で認証することをお勧めします。