次の方法で共有


データ ラングリングを使用してデータを準備する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。 データ統合を初めて使用する場合は、Fabric Data Factory から始めます。 既存の ADF ワークロードをFabricにアップグレードして、データ サイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

データ ファクトリのデータ ラングリングを使用すると、ADF でネイティブに対話型Power Queryマッシュアップを構築し、それらを ADF パイプライン内で大規模に実行できます。

Power Query アクティビティを作成する

Azure Data FactoryでPower Queryを作成するには、2 つの方法があります。 1 つの方法は、プラス記号アイコンをクリックし、ファクトリ リソース ウィンドウで Power Query を選択することです。

ファクトリ リソース ウィンドウのPower Queryを示すスクリーンショット。

もう 1 つの方法は、パイプライン キャンバスのアクティビティ ウィンドウで行います。 Power Query アコーディオンを開き、Power Query アクティビティをキャンバスにドラッグします。

データ ラングリング オプションを強調表示したスクリーンショット。

Power Query データ処理アクティビティを作成する

Power Query マッシュアップ用の Source データセットを追加します。 既存のデータセットを選択するか、新しいデータセットを作成することができます。 マッシュアップを保存したら、パイプラインを作成し、Power Queryデータ ラングリング アクティビティをパイプラインに追加し、シンク データセットを選択して、ADF にデータを配置する場所を指示できます。 1 つ以上のソース データセットを選択できますが、現時点では 1 つのシンクのみが許可されます。 シンク データセットの選択は省略可能ですが、少なくとも 1 つのソース データセットが必要です。

ラングリング

Create をクリックして、Power Query Online マッシュアップ エディターを開きます。

まず、マッシュアップ エディターのデータセット ソースを選択します。

Power Query ソース。

Power Queryのビルドが完了したら、それを保存してパイプラインを作成できます。 マッシュアップをアクティビティとしてパイプラインに追加する必要があります。 これは、シンク データセットを作成または選択してデータを格納する場合です。 また、シンク データセットの右側の 2 つ目のボタンをクリックすることで、シンク データセットのプロパティを設定できます。 1 つの出力ファイルのみ取得する場合は、必ず [最適化] の下の [partition option] (パーティション オプション) を [単一パーティション] に変更してください。

Power Query シンク。

コーディング不要のデータ準備を使用して、ラングリング Power Query を作成します。 使用できる関数の一覧については、変換関数に関するページを参照してください。 ADF は M スクリプトをデータ フロー スクリプトに変換し、Azure Data Factory データ フロー Spark 環境を使用して大規模にPower Queryを実行できるようにします。

データ整形の Power Query を作成するプロセスを示すスクリーンショット

Power Query データ ラングリング アクティビティの実行と監視

Power Query アクティビティのパイプライン デバッグ実行を実行するには、パイプライン キャンバスで Debug をクリックします。 パイプラインを発行すると、 [Trigger Now](今すぐトリガー) によって、最後に発行されたパイプラインのオンデマンド実行が実行されます。 Power Queryパイプラインは、既存のすべてのAzure Data Factory トリガーでスケジュールできます。

Power Query データ ラングリング アクティビティを追加する方法を示すスクリーンショット。

Monitor タブに移動して、トリガーされたPower Query アクティビティの実行の出力を視覚化します。

トリガーされたデータ整形 Power Query アクティビティの実行出力を示すスクリーンショット

マッピング データ フローの作成方法について確認します。