Azure Data FactoryまたはAzure Synapse Analyticsでメタデータ アクティビティを取得する

適用対象: Azure Data Factory Azure Synapse Analytics

メタデータの取得アクティビティを使用して、Azure Data Factoryまたは Synapse パイプライン内の任意のデータのメタデータを取得できます。 条件式でメタデータの取得アクティビティからの出力を使用して検証を実行することや、後続のアクティビティでメタデータを使用することができます。

UI を使用して Get Metadata アクティビティを作成する

パイプライン内で Get Metadata アクティビティを使用するには、次の手順を行います。

1. パイプライン アクティビティ ウィンドウで メタデータの取得 を検索し、メタデータの取得アクティビティをパイプライン キャンバスにドラッグします。

2. キャンバスで新しい Get Metadata アクティビティを選んでから (まだ選んでいない場合)、その [設定] タブを選んで詳細を編集します。

3. データセットを選択するか、[新規作成] ボタンを使用して新しいデータセットを作成します。 次に、フィルター オプションを指定し、データセットの使用可能なメタデータから列を追加できます。

   

4. この例の Switch アクティビティのように、アクティビティの出力を別のアクティビティへの入力として使用します。 メタデータ アクティビティの出力は、他のアクティビティで動的コンテンツがサポートされる場所であれば、参照できます。

   

5. 動的コンテンツ エディターで、[Get Metadata] アクティビティの出力を選択して、他のアクティビティでそれを参照します。

   

サポートされる機能

メタデータの取得アクティビティは、データセットを入力として受け取り、メタデータ情報を出力として返します。 現在、次のコネクタとそれに対応する取得可能なメタデータがサポートされています。 返されるメタデータの最大サイズは 4 MB です。

サポートされているコネクタ

File Storage

¹ メタデータ lastModified:

• Amazon S3、Amazon S3 Compatible Storage、Google Cloud Storage、Oracle Cloud Storage の場合、lastModified はバケットとキーに適用されますが、仮想フォルダーには適用されません。また、exists はバケットとキーに適用されますが、プレフィックスまたは仮想フォルダーには適用されません。
• Azure BLOB ストレージの場合、lastModified はコンテナーと BLOB に適用されますが、仮想フォルダーには適用されません。

² バイナリ、JSON、または XML ファイルからメタデータを取得するときは、メタ データ structure と columnCount はサポートされません。

³ メタデータ exists: Amazon S3、Amazon S3 Compatible Storage、Google Cloud Storage、Oracle Cloud Storage の場合、exists はバケットとキーには適用されますが、プレフィックスまたは仮想フォルダーには適用されません。

以下の点に注意してください。

• フォルダーに対してメタデータの取得アクティビティを使用している場合は、指定されたフォルダーに対する LIST/EXECUTE 権限があることを確認してください。

• フォルダーとファイルに対するワイルドカード フィルターは、Get Metadata アクティビティではサポートされていません。

• コネクタに設定された modifiedDatetimeStart および modifiedDatetimeEnd フィルター:

  • これらの 2 つのプロパティは、フォルダーからメタデータを取得するときに子項目をフィルター処理するために使用されます。 ファイルからメタデータを取得するときは適用されません。
  • このようなフィルターを使用すると、出力の childItems には、指定された範囲内で変更されたファイルのみが含まれ、フォルダーは含まれません。
  • このようなフィルターを適用するため、GetMetadata アクティビティは指定されたフォルダー内のすべてのファイルを列挙し、変更された日時を調べます。 予想される修飾ファイル数が少ない場合でも、ファイル数が多いフォルダーを指すことは避けてください。

リレーショナル データベース

メタデータのオプション

メタデータの取得アクティビティのフィールド リストで次のメタデータの種類を指定して、対応する情報を取得できます。

構文

メタデータの取得アクティビティ

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

データセット

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

型のプロパティ

現在、メタデータの取得アクティビティは、次の種類のメタデータ情報を返すことができます。

サンプル出力

メタデータの取得の結果は、アクティビティの出力に表示されます。 次に、さまざまなメタデータ オプションを示す 2 つのサンプルを示します。 後続のアクティビティで結果を使用するには、次のパターンを使用します: @{activity('MyGetMetadataActivity').output.itemName}。

ファイルのメタデータを取得する

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

フォルダーのメタデータを取得する

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

関連するコンテンツ

サポートされている他の制御フロー アクティビティについて学習します。

• パイプライン実行アクティビティ
• ForEach アクティビティ
• ルックアップ アクティビティ
• Web アクティビティ