制御テーブルを使用してデータベースから一括コピーを行う

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。データ統合を初めて使用する場合は、Fabric Data Factory から始めます。既存の ADF ワークロードをFabricにアップグレードして、データサイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

Fabric無料試用版を開始します。
Azure Data Factory から Microsoft Fabric の Data Factory へのアップグレード

Oracle Server、Netezza、Teradata、またはSQL ServerのデータウェアハウスからデータをAzure Synapse Analyticsにコピーするには、複数のテーブルから大量のデータを読み込む必要があります。通常は、複数のスレッドを並列して使用して単一のテーブルから行が読み込まれるように、各テーブルでデータをパーティション化する必要があります。この記事では、これらのシナリオで使用するテンプレートについて説明します。

注意

データボリュームが比較的小さい少数のテーブルからAzure Synapse Analyticsにデータをコピーする場合は、Azure Data Factoryデータのコピーツールを使用する方が効率的です。この記事で説明するテンプレートは、そのシナリオで必要とするものより大きくなっています。

このソリューションテンプレートについて

このテンプレートでは、外部制御テーブルからコピーするソースデータベースパーティションの一覧が取得されます。次に、ソースデータベース内の各パーティションが反復処理され、宛先にデータがコピーされます。

このテンプレートには、3 つのアクティビティが含まれています。

ルックアップでは、外部制御テーブルからデータベースパーティションの一覧が確実に取得されます。
ForEach は、Lookup アクティビティからパーティション一覧を取得し、各パーティションをCopy アクティビティに反復処理します。
コピー では各パーティションがソースデータベースストアから宛先ストアにコピーされます。

このテンプレートでは、次のパラメーターを定義します。

Control_Table_Name は外部制御テーブルであり、ソースデータベースのパーティション一覧が格納されています。
Control_Table_Schema_PartitionID は、各パーティション ID を格納する外部制御テーブル内の列名です。ソースデータベース内の各パーティションのパーティション ID が一意であることを確認してください。
Control_Table_Schema_SourceTableName は、ソースデータベースからのそれぞれのテーブル名を格納する外部制御テーブルです。
Control_Table_Schema_FilterQuery は、ソースデータベース内の各パーティションからデータを取得するためのフィルタークエリを格納する外部制御テーブル内の列名です。たとえば、ご利用のデータが年単位でパーティション化されている場合、各行に格納されるクエリは、'select * from datasource where LastModifytime >= ''2015-01-01 00:00:00'' and LastModifytime <= ''2015-12-31 23:59:59.999''' のようになります。
Data_Destination_Folder_Path は、データがコピー先ストアにコピーされるパスです (選択した宛先が "ファイルシステム" または "Azure Data Lake Storage Gen1" の場合に適用されます)。
Data_Destination_Container は、データが宛先ストアにコピーされる先のルートフォルダーのパスです。
Data_Destination_Directory は、データが宛先ストアにコピーされる先のルート以下のディレクトリパスです。

宛先ストアのパスを定義する最後の 3 つのパラメーターは、選択した宛先がファイルベースのストレージである場合にのみ表示されます。宛先ストアとして "Azure Synapse Analytics" を選択した場合、これらのパラメーターは必要ありません。ただし、Azure Synapse Analyticsのテーブル名とスキーマは、ソースデータベースの名前と同じである必要があります。

このソリューションテンプレートの使用方法

SQL ServerまたはAzure SQL Databaseに制御テーブルを作成して、一括コピー用のソースデータベースパーティションの一覧を格納します。次の例では、ソースデータベース内に 5 つのパーティションがあります。 3 つのパーティションは datasource_table 用で、2 つのテーブルは project_table 用です。ソースデータベースからのテーブル datasource_table 内のデータをパーティション分割するには、列 LastModifytime が使用されます。最初のパーティションを読み取るために使われるクエリは 'select * from datasource_table where LastModifytime >= ''2015-01-01 00:00:00'' and LastModifytime <= ''2015-12-31 23:59:59.999''' です。同様のクエリを使用して、他のパーティションからもデータを読み取ることができます。
```
 		Create table ControlTableForTemplate
 		(
 		PartitionID int,
 		SourceTableName  varchar(255),
 		FilterQuery varchar(255)
 		);

 		INSERT INTO ControlTableForTemplate
 		(PartitionID, SourceTableName, FilterQuery)
 		VALUES
 		(1, 'datasource_table','select * from datasource_table where LastModifytime >= ''2015-01-01 00:00:00'' and LastModifytime <= ''2015-12-31 23:59:59.999'''),
 		(2, 'datasource_table','select * from datasource_table where LastModifytime >= ''2016-01-01 00:00:00'' and LastModifytime <= ''2016-12-31 23:59:59.999'''),
 		(3, 'datasource_table','select * from datasource_table where LastModifytime >= ''2017-01-01 00:00:00'' and LastModifytime <= ''2017-12-31 23:59:59.999'''),
 		(4, 'project_table','select * from project_table where ID >= 0 and ID < 1000'),
 		(5, 'project_table','select * from project_table where ID >= 1000 and ID < 2000');
```
[データベースからの一括コピー] テンプレートに移動します。手順 1 で作成した外部制御テーブルへの新しい接続を作成します。
データのコピー元であるソースデータベースへの新しい接続を作成します。
データのコピー先である宛先データストアへの新しい接続を作成します。
[このテンプレートを使用] を選択します。
次の例に示すように、パイプラインが表示されます。
[デバッグ] を選択し、 [パラメーター] で入力し、 [完了] を選択します。
次の例のような結果が表示されます。
(省略可能)データ変換先として [Azure Synapse Analytics] を選択した場合は、Azure Synapse Analytics Polybaseの要件として、ステージング用にAzure Blob Storageへの接続を入力する必要があります。テンプレートを使うと、Blob ストレージのコンテナーパスが自動的に生成されます。パイプラインの実行後は、コンテナーが作成されているかどうかを確認します。