ORC (Optimized Row Columnar) は、Hadoop ワークロードでの効率的な大規模なデータ処理用に設計された列形式のストレージ形式です。 この記事では、Microsoft Fabricの Data Factory のコピー アクティビティ パイプラインで ORC 形式を構成する方法について説明します。
サポートされる機能
ORC 形式は、次の機能とコネクタでソースおよび宛先としてサポートされています。
| カテゴリ | コネクタ/アクティビティ |
|---|---|
| サポートされているコネクタ | アマゾンS3 |
| Amazon S3 互換 | |
| Azure Blob Storage | |
| Azure Data Lake Storage Gen2 | |
| Azure Files | |
| ファイル システム | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| レイクハウス ファイル | |
| Oracle Cloud Storage | |
| SFTP | |
| サポートされているアクティビティ | Copy アクティビティ (コピー元/コピー先) |
| Lookup アクティビティ | |
| メタデータ取得アクティビティ | |
| データ削除アクティビティ |
コピー アクティビティの ORC 形式
ORC 形式を構成するには、パイプライン コピー アクティビティのソースまたは宛先で接続を選択し、ファイル形式のドロップダウン リストで ORC を選択します。 この形式をさらに構成するには、[設定] を選択します。
ソースとしての ORC 形式
[ファイル形式] セクションで [設定] を選択すると、ポップアップの [File format settings] (ファイル形式設定) ダイアログ ボックスに以下のプロパティが表示されます。
- [圧縮の種類]: ドロップダウン リストで、ORC ファイルの読み取りに使用する圧縮コーデックを選びます。 [なし]、[zlib] または [snappy] のいずれかを選択できます。
ORC 形式をコピー先に指定
[設定] を選択すると、[File format settings] (ファイル形式設定) ダイアログ ボックスに以下のプロパティが表示されます。
- [圧縮の種類]: ドロップダウン リストで、ORC ファイルの書き込みに使用する圧縮コーデックを選びます。 [なし]、[zlib] または [snappy] のいずれかを選択できます。
[コピー先] タブの [詳細] 設定に、ORC 形式に関係する次のプロパティが表示されます。
- [ファイルあたりの最大行数]: データをフォルダーに書き込むとき、複数のファイルに書き込み、ファイルあたりの最大行を指定することを選択できます。 ファイルごとに書き込む最大行数を指定します。
-
[ファイル名プレフィックス]: [ファイルあたりの最大行数] が構成されている場合に適用されます。 データを複数のファイルに書き込むとき、ファイル名のプレフィックスを指定します。結果的に
<fileNamePrefix>_00000.<fileExtension>のパターンになります。 指定されていない場合、ファイル名プレフィックスは自動生成されます。 このプロパティは、ソースがファイルベース ストアかパーティション オプション対応データ ストアの場合、適用されません。
ORC コピー アクティビティのプロパティ
ソースとしての ORC
ORC 形式を使う場合、Copy アクティビティの [ソース] セクションでは、次のプロパティがサポートされます。
| 名前 | 説明 | 値 | 必須 | JSON スクリプト プロパティ |
|---|---|---|---|---|
| ファイル形式 | 使用するファイル形式。 | ORC | はい | 型 (datasetSettings の下):Orc |
| [圧縮の種類] | ORC ファイルの読み取りに使用される圧縮コーデック。 |
なし zlib snappy |
いいえ | orcCompressionCodec: なし zlib 軽快な |
宛先としての ORC
ORC 形式を使用する場合、コピー アクティビティの [コピー先] セクションでは、次のプロパティがサポートされます。
| 名前 | 説明 | 値 | 必須 | JSON スクリプト プロパティ |
|---|---|---|---|---|
| ファイル形式 | 使用するファイル形式。 | ORC | はい | 型 (datasetSettings の下):Orc |
| [圧縮の種類] | ORC ファイルの書き込みに使用される圧縮コーデック。 |
なし zlib snappy |
いいえ | orcCompressionCodec: なし zlib 軽快な |
| ファイルあたりの最大行数 | データをフォルダーに書き込むとき、複数のファイルに書き込み、ファイルあたりの最大行を指定することを選択できます。 ファイルごとに書き込む最大行数を指定します。 | <ファイルあたりの最大行数> | いいえ | maxRowsPerFile (ファイルごとの最大行数) |
| ファイル名プレフィックス |
[ファイルあたりの最大行数] が構成されている場合に適用されます。 データを複数のファイルに書き込むとき、ファイル名のプレフィックスを指定します。結果的に <fileNamePrefix>_00000.<fileExtension> のパターンになります。 指定されていない場合、ファイル名プレフィックスは自動生成されます。 このプロパティは、ソースがファイルベース ストアかパーティション オプション対応データ ストアの場合、適用されません。 |
<ファイル名プレフィックス> | いいえ | ファイル名プレフィックス |