パイプラインでパーティションを使用して Lakehouse にデータを読み込む

変換先としてのレイクハウステーブルのパーティション機能は、パーティションを含むレイクハウステーブルにデータを読み込む機能を提供します。パーティションは、レイクハウスの変換先で生成され、その後続のジョブや消費に役立ちます。

このチュートリアルでは、パイプラインでパーティションを使用して Lakehouse にデータを読み込む方法について説明します。たとえば、次の手順を実行して、1 つまたは複数のパーティション列を使用して、Lakehouse にサンプルデータセットを読み込みます。サンプルデータセット祝日は、サンプルデータとして使用されます。

前提条件

Project Microsoft Fabric有効なワークスペースがあることを確認します:ワークスペースの作成。

パイプラインを作成する

Power BI に移動します。
画面の左下にあるPower BI アイコンを選択し、Fabric を選択して Data Factory のホームページを開きます。
Microsoft Fabric ワークスペースに移動します。前の「前提条件」セクションで新しいワークスペースを作成した場合は、それを使用します。

+ 新規アイテム を選択します。
パイプラインを検索して選択し、 パイプライン 名を入力して新しいパイプラインを作成します。新しいパイプラインを作成するために。

パーティション列を使用してレイクハウスにデータを読み込む

パイプラインを開き、パイプラインアクティビティから>を選択し、コピーアクティビティを追加します。 [ソース] で、接続リストの下部にある [その他] を選択し、[サンプルデータ] タブで [祝日] を選択します。
[宛先] タブで、接続リストの下部にある [詳細] を選択し、[OneLake] タブで既存の Lakehouse を選択し、Lakehouse を指定するか、[ホーム] タブで新しい Lakehouse を作成します。ルートフォルダーで [テーブル] を選択し、テーブル名を指定します。
[詳細設定] を展開し、[テーブル] アクションで [上書き] を選択し、[パーティションの有効化] を選択し、[パーティション列] で [列の追加] を選択し、パーティション列として使用する列を選択します。パーティション列として 1 つの列または複数の列を使用することを選択できます。

1 つの列を使用する場合は、このチュートリアルの例として countryOrRegion (文字列型) が選択されています。データは、異なる列の値でパーティション分割されます。

注釈

選択できるパーティション列は、文字列、整数、ブール型、および datetime 型である必要があります。他のデータ型の列はドロップダウンリストに表示されません。

複数のパーティション列を使用する場合は、もう 1 つの列を追加し、例としてブール型である isPaidTimeOff を選択します。続いて、パイプラインを実行します。このロジックでは、まず最初に追加された列値によってテーブルがパーティション化され、その後、パーティション化されたデータが 2 番目に追加された列値によって引き続きパーティション化されます。

ヒント

列をドラッグして列の順序を変更すると、パーティションの順序も変更されます。
[実行]、[保存して実行] の順に選び、パイプラインを実行します。
パイプラインが正常に実行されたら、作成したレイクハウスに移動します。コピーしたテーブルを見つけます。テーブルを右クリックし、 [データの表示] を選択します。

1 つのパーティション列 (countryOrRegion) の場合、テーブルは国または地域の名前によって異なるフォルダーごとにパーティション分割されます。列名の特殊文字はエンコードされており、レイクハウスでファイルを表示するときに、ファイル名が列の値と異なる場合があります。

複数のパーティション列の場合、テーブルは国または地域の名前によって異なるフォルダーにパーティション分割されていることがわかります。

contryOrRegion=United States などのフォルダーを 1 つ選択>。国名または地域名でパーティション分割されたテーブルは、追加された 2 番目の列 isPaidTimeOff の値 True 、False、または __HIVE_DEFAULT_PARTITION__ (サンプルデータセットの空の値を表します) によって再びパーティション分割されます。

同様に、テーブルをパーティション分割するために 3 つの列を追加すると、2 番目のレベルのフォルダーが追加された 3 番目の列によってパーティション分割されます。