Azure Data FactoryとAzure Synapse AnalyticsにおけるParquet形式

適用対象: Azure Data Factory Azure Synapse Analytics

Parquet ファイルの解析または Parquet 形式でのデータの書き込みを行う場合は、この記事に従ってください。

Parquet 形式は次のコネクタでサポートされています。

• アマゾンS3
• Amazon S3 互換ストレージ
• Azure BLOB
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Azure Files
• ファイル システム
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle Cloud Storage
• SFTP

使用可能なすべてのコネクタでサポートされている機能の一覧については、コネクタの概要に関するページをご覧ください。

セルフホステッド・インテグレーションランタイムの使用

Parquet ファイルのシリアル化/逆シリアル化を使用してセルフホステッド IR で実行されているコピーの場合、サービスは最初にレジストリ (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) for JRE を確認し、見つからない場合は、次に OpenJDK のシステム変数 JAVA_HOME を確認することで、Java ランタイムを検索します。

• JRE を使う場合: 64 ビット IR には 64 ビット JRE が必要です。 こちらから入手できます。
• JDK を使用するには:64 ビット IR には 64 ビット JDK 23 が必要です。 こちらから入手できます。 JAVA_HOME システム変数を JDK 23 インストールのルート フォルダー (C:\Program Files\Java\jdk-23) に更新し、C:\Program Files\Java\jdk-23\bin フォルダーと C:\Program Files\Java\jdk-23\bin\server フォルダーの両方へのパスを Path システム変数に追加してください。
• OpenJDK を使う場合: IR バージョン 3.13 以降でサポートされています。 jvm.dll を他のすべての必要な OpenJDK のアセンブリと共にセルフホステッド IR マシンにパッケージ化し、それに応じてシステム環境変数 JAVA_HOME を設定します。その後、セルフホステッド IR 再起動して、すぐに有効にします。 Microsoft Build of OpenJDKをダウンロードするには、Microsoft Build of OpenJDK<™/c0>を参照してください。

例: 変数 _JAVA_OPTIONS を設定して、値 -Xms256m -Xmx16g を指定します。 フラグ Xms は、Java仮想マシン (JVM) の初期メモリ割り当てプールを指定します。一方、Xmx は最大メモリ割り当てプールを指定します。 これは、JVM 起動時のメモリ量が Xms、使用可能なメモリ量が最大で Xmx であることを意味します。 既定では、サービスにより最小で 64MB、最大で 1G が使用されます。

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。 このセクションでは、Parquet データセットでサポートされるプロパティの一覧を示します。

Azure Blob Storage上の Parquet データセットの例を次に示します。

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

Copy アクティビティ のプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。 このセクションでは、Parquet のソースとシンクでサポートされるプロパティの一覧を示します。

ソースとしての Parquet

Copy アクティビティの *source* セクションでは、次のプロパティがサポートされます。

シンクとしての Parquet

Copy アクティビティの *sink* セクションでは、次のプロパティがサポートされます。

でサポートされている formatSettings:

Mapping Data Flow のプロパティ

マッピング データ フローでは、Azure Blob Storage、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2 および SFTP で、parquet 形式は Amazon S3 で読み取ることができます。

ソースのプロパティ

次の表に、Parquet ソースでサポートされるプロパティの一覧を示します。 これらのプロパティは、[ソース オプション] タブで編集できます。

ソースの例

次の図は、マッピング データ フローにおける Parquet ソースの構成例です。

関連付けられているデータ フロー スクリプトは次のとおりです。

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

シンクのプロパティ

次の表に、Parquet シンクでサポートされるプロパティの一覧を示します。 これらのプロパティは、[設定] タブで編集できます。

シンクの例

次の図は、マッピング データ フローにおける Parquet シンクの構成例です。

関連付けられているデータ フロー スクリプトは次のとおりです。

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Parquet のデータ型マッピング

Parquet 形式でソース コネクタからデータを読み取る場合、Parquet データ型からサービスによって内部的に使われる中間データ型への次のマッピングが使われます。

Parquet 形式でシンク コネクタにデータを書き込む場合、サービスによって内部的に使われる中間データ型から Parquet データ型への次のマッピングが使われます。

コピー アクティビティでソースのスキーマとデータ型がシンクにマッピングされるしくみについては、スキーマとデータ型のマッピングに関する記事を参照してください。

Parquet 複合データ型 (MAP、LIST、STRUCT など) は、現在、コピー アクティビティではなくデータ フローでのみサポートされています。 データ フローで複合型を使用するには、データセットにファイル スキーマをインポートしないで、データセット内のスキーマを空白のままにしておきます。 次に、ソース変換で、プロジェクションをインポートします。

関連コンテンツ

• Copy アクティビティの概要
• マッピング データ フロー
• Lookup アクティビティ
• GetMetadata アクティビティ