Azure Data Factory と Synapse Analytics のCommon Data Model形式

APPLIES TO: Azure Data Factory Azure Synapse Analytics

Common Data Model (CDM) メタデータ システムを使用すると、データとその意味をアプリケーションやビジネス プロセス間で簡単に共有できます。 詳細については、Common Data Modelの概要を参照してください。

Azure Data Factoryパイプラインと Synapse パイプラインでは、ユーザーはマッピング データ フローを使用して、Azure Data Lake Store Gen2 (ADLS Gen2) に格納されている model.json とマニフェストフォームの両方で CDM エンティティからデータを変換できます。 また、データをパーティション分割されたフォルダーに CSV または Parquet 形式で格納する CDM エンティティ参照を使用して、データを CDM 形式でシンクすることもできます。

Mapping Data Flow のプロパティ

Common Data Modelは、ソースとシンクの両方としてマッピング データ フローでinline データセットとして使用できます。

ソースのプロパティ

次の表に、CDM ソースでサポートされるプロパティの一覧を示します。 これらのプロパティは、 [ソース オプション] タブで編集できます。

ソース変換とシンク変換の両方で "エンティティ参照" を選択する際に、以下の 3 つのオプションからエンティティ参照の場所を選択できます。

• ローカル - サービスによって既に使用されているマニフェスト ファイルで定義されているエンティティを使用します
• カスタム - サービスによって使用されているマニフェスト ファイルとは異なるエンティティ マニフェスト ファイルを指定するように求めるメッセージが表示されます
• Standard では、GitHub に保持されている CDM エンティティの標準ライブラリからのエンティティ参照が使用されます。

シンクの設定

• 記述するエンティティの定義を含む CDM エンティティ参照ファイルをポイントします。

• サービスでエンティティの記述に使用する出力ファイルのパーティション パスと形式を定義します。

• 出力ファイルの場所とマニフェスト ファイルの場所と名前を設定します。

スキーマをインポート

CDM はインライン データセットとしてのみ利用でき、既定では、関連付けられたスキーマはありません。 列メタデータを取得するには、 [プロジェクション] タブの [スキーマのインポート] ボタンをクリックします。これにより、コーパスによって指定されている列名とデータ型を参照できます。 スキーマをインポートするには、データ フロー デバッグ セッションをアクティブにする必要があり、既存の CDM エンティティ定義ファイルをポイントする必要があります。

シンク変換でデータ フロー列をエンティティ プロパティにマップする場合は、"マッピング" タブをクリックし、"スキーマのインポート" を選択します。 サービスによって、シンク オプションでポイントしたエンティティ参照が読み取られ、これでターゲットの CDM スキーマにマップできるようになります。

1. model.json ファイルをテキスト エディターで開く
2. partitions.Location プロパティを検索する
3. "blob.core.windows.net" を "dfs.core.windows.net" に変更する
4. URL の "% 2F" エンコードを "/" に修正する
5. ADF データ フローを使用する場合は、パーティション ファイル パスの特殊文字を英数字に置き換えるか、Azure Synapse データ フローに切り替える必要があります

CDM ソース データ フロー スクリプトの例

source(output(
        ProductSizeId as integer,
        ProductColor as integer,
        CustomerId as string,
        Note as string,
        LastModifiedDate as timestamp
    ),
    allowSchemaDrift: true,
    validateSchema: false,
    entity: 'Product.cdm.json/Product',
    format: 'cdm',
    manifestType: 'manifest',
    manifestName: 'ProductManifest',
    entityPath: 'Product',
    corpusPath: 'Products',
    corpusStore: 'adlsgen2',
    adlsgen2_fileSystem: 'models',
    folderPath: 'ProductData',
    fileSystem: 'data') ~> CDMSource

シンクのプロパティ

次の表に、CDM シンクでサポートされるプロパティの一覧を示します。 これらのプロパティは、 [設定] タブで編集できます。

CDM シンク データ フロー スクリプトの例

関連付けられているデータ フロー スクリプトは次のとおりです。

CDMSource sink(allowSchemaDrift: true,
    validateSchema: false,
    entity: 'Product.cdm.json/Product',
    format: 'cdm',
    entityPath: 'ProductSize',
    manifestName: 'ProductSizeManifest',
    corpusPath: 'Products',
    partitionPath: 'adf',
    folderPath: 'ProductSizeData',
    fileSystem: 'cdm',
    subformat: 'parquet',
    corpusStore: 'adlsgen2',
    adlsgen2_fileSystem: 'models',
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CDMSink

関連するコンテンツ

マッピング データ フローのソース変換を作成します。