Azure Data FactoryまたはAzure Synapse Analyticsを使用して Snowflake V2 のデータをコピーおよび変換する

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、Azure Data FactoryパイプラインとAzure Synapse パイプラインのCopy アクティビティを使用して Snowflake との間でデータをコピーし、Data Flowを使用して Snowflake のデータを変換する方法について説明します。 詳細については、Data Factory または Azure Synapse Analytics の入門記事を参照してください。

サポートされる機能

この Snowflake コネクタは、次の機能でサポートされます。

(1) Azure統合ランタイム (2) セルフホステッド統合ランタイム

Copy アクティビティの場合、この Snowflake コネクタは次の機能をサポートします。

• Snowflake からのデータのコピー。Snowflake の COPY into [location] コマンドを利用して、最適なパフォーマンスを実現します。
• Snowflake へのデータのコピー。Snowflake の COPY into [table] コマンドを利用して、最適なパフォーマンスを実現します。 Azureで Snowflake をサポートしています。
• セルフホステッド Integration Runtimeから Snowflake に接続するためにプロキシが必要な場合は、Integration Runtime ホストでHTTP_PROXYとHTTPS_PROXYの環境変数を構成する必要があります。

Prerequisites

データ ストアがオンプレミス ネットワーク、Azure仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、自身がホストする統合ランタイム を構成して接続する必要があります。 セルフホステッド統合ランタイムが使用する IP アドレスを許可リストに追加する必要があります。

データ ストアがマネージド クラウド データ サービスの場合は、Azure Integration Runtimeを使用できます。 アクセスがファイアウォール規則で承認されている IP に制限されている場合は、許可リストに Azure Integration Runtime IP を追加できます。

ソースまたはシンクに使用される Snowflake アカウントには、データベースに対する必要な USAGE アクセス権と、スキーマおよびその下のテーブル/ビューに対する読み取り/書き込みアクセス権が必要です。 さらに、SAS URI を使用して外部ステージを作成できるように、スキーマ上に CREATE STAGE も存在する必要があります。

次のアカウント プロパティの値を設定する必要があります

Data Factory によってサポートされるネットワーク セキュリティ メカニズムやオプションの詳細については、「データ アクセス戦略」を参照してください。

概要

パイプラインでコピー アクティビティを実行するには、次のいずれかのツールまたは SDK を使用できます。

• データのコピー ツール
• Azure portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager テンプレート

UI を使用して Snowflake のリンク サービスを作成する

Azure ポータル UI で Snowflake へのリンクされたサービスを作成するには、次の手順に従います。

1. Azure Data Factoryまたは Synapse ワークスペースの [管理] タブを参照し、[リンクされたサービス] を選択し、[新規] をクリックします。

   • Azure Data Factory
   • Azure Synapse

   Azure Data Factory UI を使用した新しいリンク サービスの作成のスクリーンショット

2. Snowflake を検索し、Snowflake コネクタを選択します。

   

3. サービスの詳細を構成し、接続をテストして、新しいリンク サービスを作成します。

   

コネクタの構成の詳細

次のセクションでは、Snowflake コネクタに固有のエンティティを定義するプロパティについて詳しく説明します。

リンクされたサービス プロパティ

Snowflake のリンク サービスでは、次の汎用プロパティがサポートされます。

リンクされたサービスでは、ケースに応じて、次の追加の接続プロパティを設定できます。

この Snowflake コネクタでは、次の認証の種類がサポートされています。 詳細については、対応するセクションをご覧ください。

• 基本認証
• キー ペア認証

基本認証

前のセクションで説明した汎用的なプロパティに加えて、基本認証を使用するには、次のプロパティを指定します。

Example:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "Basic",
            "user": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "role": "<role>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Azure Key Vault のパスワード:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "Basic",
            "user": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                }, 
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

キー ペア認証

キー ペア認証を使用するには、「キー ペア認証とキー ペア ローテーション」を参照して、Snowflake 内にキー ペア認証ユーザーを構成および作成する必要があります。 その後、秘密キーとパスフレーズ (省略可能) を書き留めます (リンク サービスを定義するために使用します)。

前のセクションで説明した汎用的なプロパティに加えて、次のプロパティを指定します。

Example:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "KeyPair",
            "user": "<username>",
            "privateKey": {
                "type": "SecureString",
                "value": "<privateKey>"
            },
            "privateKeyPassphrase": { 
                "type": "SecureString",
                "value": "<privateKeyPassphrase>"
            },
            "role": "<role>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。

Snowflake データセットでは、次のプロパティがサポートされます。

Example:

{
    "name": "SnowflakeV2Dataset",
    "properties": {
        "type": "SnowflakeV2Table",
        "typeProperties": {
            "schema": "<Schema name for your Snowflake database>",
            "table": "<Table name for your Snowflake database>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Copy アクティビティ のプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。 このセクションでは、Snowflake のソースとシンクでサポートされるプロパティの一覧を示します。

ソースとしての Snowflake

Snowflake コネクタは、Snowflake の COPY into [location] コマンドを利用して、最適なパフォーマンスを実現します。

シンク データ ストアと形式が Snowflake COPY コマンドでネイティブにサポートされている場合は、Copy アクティビティを使用して Snowflake からシンクに直接コピーできます。 詳しくは、「Snowflake から直接コピーする」をご覧ください。 それ以外の場合は、組み込みの Snowflake からのステージング コピーを使用します。

Snowflake からデータをコピーするには、Copy アクティビティ source セクションで次のプロパティがサポートされています。

Snowflake から直接コピーする

シンク データ ストアと形式がこのセクションで説明されている条件を満たしている場合は、Copy アクティビティを使用して Snowflake からシンクに直接コピーできます。 サービスは設定をチェックし、次の条件が満たされていない場合、Copy アクティビティの実行に失敗します。

• ソースに storageIntegration を指定する場合:

  シンク データ ストアは、Snowflake の外部ステージで参照したAzure Blob Storageです。 データをコピーする前に、次の手順を完了する必要があります。

  1. サポートされているいずれかの種類の認証を使用して、シンク Azure Blob Storage 用の Azure Blob Storage リンク サービスを作成します。

  2. 少なくとも Storage Blob Data Contributor ロールをシンク先 Azure Blob Storage の Access Control (IAM) 内の Snowflake サービス プリンシパルに付与します。

• ソースに storageIntegration を指定しない場合:

  シンクリンクサービスはAzure BLOB ストレージと共有アクセス署名認証で構成されています。 次のサポートされている形式でデータをAzure Data Lake Storage Gen2に直接コピーしたい場合は、Azure Data Lake Storage Gen2アカウントに対してSAS認証を利用するAzure Blob Storageのリンクされたサービスを作成することで、Snowflakeからの段階的コピーを回避できます。

• シンク データ形式が、次のように構成された Parquet、区切りテキスト、または JSON です。

  • Parquet 形式の場合は、圧縮コーデックが None、Snappy、または Lzo です。
  • 区切りテキスト形式の場合:
    • rowDelimiter が \r\n または任意の 1 文字です。
    • compression が、no compression、gzip、bzip2、または deflate です。
    • encodingName が既定値のままか、utf-8 に設定されている。
    • quoteChar が、double quote、single quote、または empty string (引用符なし) です。
  • JSON 形式の場合、直接コピーでは、ソースの Snowflake テーブルまたはクエリ結果に 1 つの列しかなく、この列のデータ型が VARIANT、OBJECT、または ARRAY であるケースのみがサポートされます。
    • compression が、no compression、gzip、bzip2、または deflate です。
    • encodingName が既定値のままか、utf-8 に設定されている。
    • コピー アクティビティのシンクでは、filePattern は既定値のままにするか、setOfObjects に設定します。

• Copy アクティビティのソース内で、additionalColumns が指定されていません。

• 列マッピングが指定されていません。

Example:

"activities":[
    {
        "name": "CopyFromSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Snowflake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SnowflakeV2Source",
                "query": "SELECT * FROM MYTABLE",
                "exportSettings": {
                    "type": "SnowflakeExportCopyCommand",
                    "additionalCopyOptions": {
                        "MAX_FILE_SIZE": "64000000",
                        "OVERWRITE": true
                    },
                    "additionalFormatOptions": {
                        "DATE_FORMAT": "'MM/DD/YYYY'"
                    },
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Snowflakeからステージングされたコピー

前のセクションで説明したように、シンク データ ストアまたは形式が Snowflake COPY コマンドとネイティブに互換性がない場合は、中間Azure BLOB ストレージ インスタンスを使用して、組み込みのステージング コピーを有効にします。 ステージング コピー機能はスループットも優れています。 Snowflake のデータをステージング ストレージにエクスポートしてから、データをシンクにコピーし、最後にステージング ストレージの一時データをクリーンアップします。 ステージングを使用したデータのコピーの詳細は、「ステージング コピー」を参照してください。

この機能を使用するには、Azure ストレージ アカウントを中間ステージングとして参照する Azure Blob Storage のリンクされたサービス を作成します。 次に、Copy アクティビティで enableStaging プロパティと stagingSettings プロパティを指定します。

• ソースでstorageIntegrationを指定する場合、Snowflakeの外部ステージで参照する、中間ステージングとしてのAzure Blob Storageを選択する必要があります。 Azure統合ランタイムを使用する場合は、サポートされている認証を使用してAzure Blob Storageリンクされたサービスを作成するか、セルフホステッド統合ランタイムを使用する場合は匿名のアカウント キー、共有アクセス署名、またはサービス プリンシパル認証を使用してください。 さらに、少なくとも Storage Blob Data Contributor ロールを Azure Blob Storage のステージング Access Control (IAM) の Snowflake サービス プリンシパルに付与します。

• ソースでstorageIntegrationを指定しない場合、Azure Blob Storageステージングのリンクされたサービスは、Snowflake COPYコマンドの要件に従って、共有アクセスシグニチャ認証を使用する必要があります。 ステージング Azure Blob Storageで Snowflake に適切なアクセス許可を付与していることを確認します。 この詳細については、こちらの記事を参照してください。

Example:

"activities":[
    {
        "name": "CopyFromSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Snowflake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SnowflakeV2Source",               
                "query": "SELECT * FROM MyTable",
                "exportSettings": {
                    "type": "SnowflakeExportCopyCommand",
                    "storageIntegration": "< Snowflake storage integration name >"                    
                }
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Snowflake からステージング コピーを実行するときは、シンク コピーの動作をファイルのマージに設定することが重要です。 この設定により、パーティション分割されたすべてのファイルが正しく処理およびマージされるため、最後にパーティション分割されたファイルのみがコピーされる問題を回避できます。

構成の例

{
    "type": "Copy",
    "source": {
        "type": "SnowflakeSource",
        "query": "SELECT * FROM my_table"
    },
    "sink": {
        "type": "AzureBlobStorage",
        "copyBehavior": "MergeFiles"
    }
}

シンクとしての Snowflake

Snowflake コネクタは、Snowflake の COPY into [table] コマンドを利用して、最適なパフォーマンスを実現します。 Azureの Snowflake へのデータの書き込みをサポートしています。

ソース データ ストアと形式が Snowflake COPY コマンドでネイティブにサポートされている場合は、Copy アクティビティを使用してソースから Snowflake に直接コピーできます。 詳しくは、「Snowflake に直接コピーする」をご覧ください。 それ以外の場合は、組み込みのSnowflakeへのステージドコピーを使用します。

Snowflake にデータをコピーするには、Copy アクティビティ sink セクションで次のプロパティがサポートされています。

Snowflake に直接コピーする

ソース データ ストアと形式がこのセクションで説明されている条件を満たしている場合は、Copy アクティビティを使用してソースから Snowflake に直接コピーできます。 サービスは設定をチェックし、次の条件が満たされていない場合、Copy アクティビティの実行に失敗します。

• シンクに storageIntegration を指定する場合:

  ソース データ ストアは、Snowflake の外部ステージで参照したAzure Blob Storageです。 データをコピーする前に、次の手順を完了する必要があります。

  1. サポートされているいずれかの種類の認証を使用して、ソース Azure Blob Storage 用の Azure Blob Storage リンク サービスを作成します。

  2. 少なくとも Storage Blob Data Reader ロールをソース Azure Blob Storage Access Control (IAM) の Snowflake サービス プリンシパルに付与します。

• シンクに storageIntegration を指定しない場合:

  source のリンクされたサービスは、Azure blob storageと共有アクセス署名認証です。 Azure Data Lake Storage Gen2からサポートされている次の形式でデータを直接コピーしたい場合、Azure Data Lake Storage Gen2アカウントに対してSAS認証を使用してAzure Blob Storageのリンクサービスを作成し、Snowflakeへのステージングコピーを避けることができます。

• ソース データ形式が、次のように構成された Parquet、区切りテキスト、または JSON です。

  • Parquet 形式の場合は、圧縮コーデックが None またはSnappyです。

  • 区切りテキスト形式の場合:

    • rowDelimiter が \r\n または任意の 1 文字です。 行区切り記号が “\r\n” ではない場合は、firstRowAsHeader を false にする必要があり、skipLineCount が指定されていません。
    • compression が、no compression、gzip、bzip2、または deflate です。
    • encodingName が既定値のままになっているか、"UTF-8"、"UTF-16"、"UTF-16BE"、"UTF-32"、"UTF-32BE"、"BIG5"、"EUC-JP"、"EUC-KR"、"GB18030"、"ISO-2022-JP"、"ISO-2022-KR"、"ISO-8859-1"、"ISO-8859-2"、"ISO-8859-5"、"ISO-8859-6"、"ISO-8859-7"、"ISO-8859-8"、"ISO-8859-9"、"WINDOWS-1250"、"WINDOWS-1251"、"WINDOWS-1252"、"WINDOWS-1253"、"WINDOWS-1254"、"WINDOWS-1255" に設定されています。
    • quoteChar が、double quote、single quote、または empty string (引用符なし) です。

  • JSON 形式の場合、直接コピーでは、シンクの Snowflake テーブルに 1 つの列しかなく、この列のデータ型が VARIANT、OBJECT、または ARRAY であるケースのみがサポートされます。

    • compression が、no compression、gzip、bzip2、または deflate です。
    • encodingName が既定値のままか、utf-8 に設定されている。
    • 列マッピングが指定されていません。

• Copy アクティビティ ソースで次の手順を実行します。

  • additionalColumns が指定されていません。
  • ソースがフォルダーの場合、recursive が true に設定されています。
  • prefix、modifiedDateTimeStart、modifiedDateTimeEnd、および enablePartitionDiscovery が指定されていない。

Example:

"activities":[
    {
        "name": "CopyToSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Snowflake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SnowflakeV2Sink",
                "importSettings": {
                    "type": "SnowflakeImportCopyCommand",
                    "copyOptions": {
                        "FORCE": "TRUE",
                        "ON_ERROR": "SKIP_FILE"
                    },
                    "fileFormatOptions": {
                        "DATE_FORMAT": "YYYY-MM-DD"
                    },
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            }
        }
    }
]

Snowflake へのステージング コピー

前のセクションで説明したように、ソース データ ストアまたは形式が Snowflake COPY コマンドとネイティブに互換性がない場合は、中間Azure BLOB ストレージ インスタンスを使用して組み込みのステージング コピーを有効にします。 ステージング コピー機能はスループットも優れています。 Snowflake のデータ形式要件を満たすようにデータを自動的に変換します。 次に、COPY コマンドを呼び出して、Snowflake にデータを読み込みます。 最後に、BLOB ストレージから一時データをクリーンアップします。 ステージングを使用したデータのコピーの詳細は、「ステージング コピー」を参照してください。

この機能を使用するには、Azure ストレージ アカウントを中間ステージングとして参照する Azure Blob Storage のリンクされたサービス を作成します。 次に、Copy アクティビティで enableStaging プロパティと stagingSettings プロパティを指定します。

• シンクで storageIntegration を指定する場合、その中間ステージング用の Azure Blob Storage は、Snowflake の外部ステージで参照したものと同じである必要があります。 Azure統合ランタイムを使用する場合は、サポートされている認証を使用してAzure Blob Storageリンクされたサービスを作成するか、セルフホステッド統合ランタイムを使用する場合は匿名のアカウント キー、共有アクセス署名、またはサービス プリンシパル認証を使用してください。 さらに、Azure Blob Storage のステージングの Storage Blob データ リーダー ロールを、Access Control (IAM) の Snowflake サービス プリンシパルに少なくとも付与します。

• シンクでstorageIntegrationを指定しない場合、リンクされたサービス Azure Blob Storage のステージングでは、Snowflake COPY コマンドに必要な Shared Access Signature 認証を使用する必要があります。

Example:

"activities":[
    {
        "name": "CopyToSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Snowflake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SnowflakeV2Sink",
                "importSettings": {
                    "type": "SnowflakeImportCopyCommand",
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

マッピングデータフローのプロパティ

マッピング データ フローでデータを変換する場合、Snowflake のテーブルから読み書きすることができます。 詳細については、マッピング データ フローのソース変換とシンク変換に関する記事をご覧ください。 ソースとシンクの種類として、Snowflake データセットまたはインライン データセットを使用することができます。

ソース変換

次の表に、Snowflake ソースでサポートされるプロパティの一覧を示します。 これらのプロパティは、 [ソース オプション] タブで編集できます。コネクタは、Snowflake 内部データ転送を利用します。

Snowflake のソース スクリプトの例

ソースの種類として Snowflake データセットを使用すると、関連付けられているデータ フロー スクリプトは次のようになります。

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'select * from MYTABLE',
	format: 'query') ~> SnowflakeSource

インライン データセットを使用する場合、関連付けられているデータ フロー スクリプトは次のようになります。

source(allowSchemaDrift: true,
	validateSchema: false,
	format: 'query',
	query: 'select * from MYTABLE',
	store: 'snowflake') ~> SnowflakeSource

ネイティブの変更追跡

Azure Data Factoryでは、変更の追跡と呼ばれる Snowflake のネイティブ機能がサポートされるようになりました。これには、ログの形式での変更の追跡が含まれます。 Snowflake のこの機能を使用すると、時間の経過に伴うデータの変更を追跡できるため、増分データの読み込みと監査に役立ちます。 この機能を利用するために、変更データ キャプチャを有効にして Snowflake の変更追跡を選択すると、ソース テーブルの Stream オブジェクトが作成され、ソースの Snowflake テーブルでの変更追跡が可能になります。 その後、クエリを使って CHANGES 句を使用し、ソーステーブルから新規の、または更新されたデータのみを取得します。 また、Snowflake のソース テーブルに設定されたデータ保持時間の間隔内に変更が消費されるようにパイプラインをスケジュールすることもお勧めします。そうしなければ、キャプチャされた変更の動作に一貫性がなくなる可能性があります。

シンク変換

次の表に、Snowflake シンクでサポートされるプロパティの一覧を示します。 これらのプロパティは、[設定] タブで編集できます。インライン データセットを使用する場合、「データセットのプロパティ」セクションで説明されているプロパティと同じ追加の設定が表示されます。 コネクタは、Snowflake 内部データ転送を利用します。

Snowflake シンク スクリプトの例

シンクの種類として Snowflake データセットを使用する際、関連付けられているデータ フロー スクリプトは次のようになります。

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	deletable:true,
	insertable:true,
	updateable:true,
	upsertable:false,
	keys:['movieId'],
	format: 'table',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SnowflakeSink

インライン データセットを使用する場合、関連付けられているデータ フロー スクリプトは次のようになります。

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	tableName: 'table',
	schemaName: 'schema',
	deletable: true,
	insertable: true,
	updateable: true,
	upsertable: false,
	store: 'snowflake',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SnowflakeSink

クエリ プッシュダウンの最適化

パイプライン ログ レベルを None に設定することで、中間変換メトリックの送信を除外して Spark 最適化に対する潜在的な障害を防ぎ、Snowflake によって提供されるクエリ プッシュダウンの最適化を有効にします。 このプッシュダウンの最適化により、大量のデータセットを含む大規模な Snowflake テーブルのパフォーマンスが大幅に向上します。

Snowflake V2 のデータ型マッピング

Snowflake からデータをコピーする場合、Snowflake データ型からサービス内の中間データ型への次のマッピングが内部的に使用されます。 コピー アクティビティでソースのスキーマとデータ型がシンクにマッピングされるしくみについては、スキーマとデータ型のマッピングに関する記事を参照してください。

Lookup アクティビティのプロパティ

プロパティの詳細については、ルックアップ アクティビティに関する記事を参照してください。

Snowflake コネクタのライフサイクルとアップグレード

次の表は、Snowflake コネクタのさまざまなバージョンのリリース ステージと変更ログを示しています。

Snowflake コネクタを V1 から V2 にアップグレードする

Snowflake コネクタを V1 から V2 にアップグレードするには、サイド バイ サイド アップグレードまたはインプレース アップグレードを実行します。

サイド バイ サイド アップグレード

サイド バイ サイド アップグレードを実行するには、以下の手順を実行します。

1. 新しい Snowflake リンク サービスを作成し、V2 リンク サービスのプロパティを参照して構成します。
2. 新しく作成した Snowflake のリンク サービスに基づいてデータセットを作成します。
3. V1 オブジェクトをターゲットとするパイプライン内の既存のリンク サービスとデータセットを、新しいものに置き換えます。

一括アップグレード

インプレース アップグレードを実行するには、既存のリンク サービス ペイロードを編集し、新しいリンク サービスを使用するようにデータ セットを更新する必要があります。

1. type を Snowflake から SnowflakeV2 に更新します。

2. リンク サービス ペイロードを V1 形式から V2 に変更します。 上記の type を変更した後、ユーザー インターフェイスから各フィールドに入力するか、JSON エディターを通じてペイロードを直接更新することができます。 サポートされている接続プロパティについては、この記事の「リンク サービスのプロパティ」セクションを参照してください。 次の例は、V1 と V2 Snowflake のリンク サービスのペイロードの違いを示しています:

   Snowflake V1 接続サービスのJSONペイロード:

     {
        "name": "Snowflake1",
        "type": "Microsoft.DataFactory/factories/linkedservices",
        "properties": {
            "annotations": [],
            "type": "Snowflake",
            "typeProperties": {
                "authenticationType": "Basic",
                "connectionString": "jdbc:snowflake://<fake_account>.snowflakecomputing.com/?user=FAKE_USER&db=FAKE_DB&warehouse=FAKE_DW&schema=PUBLIC",
                "encryptedCredential": "<your_encrypted_credential_value>"
            },
            "connectVia": {
                "referenceName": "AzureIntegrationRuntime",
                "type": "IntegrationRuntimeReference"
            }
        }
    }
   

   Snowflake V2 のリンク サービス JSON ペイロード:

    {
        "name": "Snowflake2",
        "type": "Microsoft.DataFactory/factories/linkedservices",
        "properties": {
            "parameters": {
                "schema": {
                    "type": "string",
                    "defaultValue": "PUBLIC"
                }
            },
            "annotations": [],
            "type": "SnowflakeV2",
            "typeProperties": {
                "authenticationType": "Basic",
                "accountIdentifier": "<FAKE_Account>",
                "user": "FAKE_USER",
                "database": "FAKE_DB",
                "warehouse": "FAKE_DW",
                "encryptedCredential": "<placeholder>"
            },
            "connectVia": {
                "referenceName": "AutoResolveIntegrationRuntime",
                "type": "IntegrationRuntimeReference"
            }
        }
    }
   

3. 新しいリンク サービスを使用するようにデータセットを更新します。 新しく作成されたリンク サービスに基づいて新しいデータセットを作成するか、既存のデータセットの type プロパティを SnowflakeTable から SnowflakeV2Table に更新することができます。

Snowflake V2 コネクタをバージョン 1.0 からバージョン 1.1 にアップグレードする

[ リンクされたサービスの編集] ページで、バージョンとして 1.1 を選択します。 詳細については、「リンク サービスのプロパティ」を参照してください。

関連コンテンツ

Copy アクティビティによってソースとシンクとしてサポートされるデータ ストアの一覧については、「サポートされているデータ ストアと形式を参照してください。