次の方法で共有

Azure Data FactoryおよびAzure Synapse AnalyticsにおけるIcebergフォーマット

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。 データ統合を初めて使用する場合は、Fabric Data Factory から始めます。 既存の ADF ワークロードをFabricにアップグレードして、データ サイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

データを Iceberg 形式に書き込む場合は、こちらの記事に従ってください。

Iceberg 形式は、以下のコネクタでサポートされています。

Iceberg データセットは、Copy アクティビティ で使用できます。

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。 このセクションでは、Iceberg 形式データセットでサポートされるプロパティの一覧を示します。

プロパティ 内容 必須
型 データセットの type プロパティは、Iceberg に設定する必要があります。 はい
位置 ファイルの場所の設定。 ファイル ベースの各コネクタには、固有の場所の種類と location でサポートされるプロパティがあります。 はい

Azure Data Lake Storage Gen2上の Iceberg データセットの例を次に示します。

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Copy アクティビティ のプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。 このセクションでは、Iceberg シンクでサポートされるプロパティの一覧を示します。

シンクとしての Iceberg

Copy アクティビティの *sink* セクションでは、次のプロパティがサポートされます。

プロパティ 内容 必須
型 コピー アクティビティのソースの type プロパティは IcebergSink に設定する必要があります。 はい
フォーマット設定 プロパティのグループ。 以下の Iceberg の書き込み設定に関する表を参照してください。 いいえ
ストア設定 データ ストアにデータを書き込む方法を指定するプロパティのグループ。 ファイル ベースの各コネクタには、storeSettings に、固有のサポートされる書き込み設定があります。 いいえ

Iceberg 書き込み設定 におけるサポート対象formatSettings:

プロパティ 内容 必須
型 formatSettings の type は IcebergWriteSettings に設定する必要があります。 はい

区切られたテキスト形式に関連する一般的なコネクタと形式をいくつか次に示します。

関連するコンテンツ

  • Last updated on