Azure Data Factory または Synapse Analytics のスクリプト アクティビティを使用してデータを変換する

適用対象: Azure Data Factory Azure Synapse Analytics

Data Factory または Synapse パイプラインでデータ変換アクティビティを使用して、生データを予測や分析情報に変換して処理します。 Script アクティビティは、パイプラインでサポートされる変換アクティビティの 1 つです。 この記事は、データ変換とサポートされている変換アクティビティの概要を説明する、データ変換に関する記事に基づいています。

Script アクティビティを使用すると、データ操作言語 (DML) とデータ定義言語 (DDL) を使用して一般的な操作を実行できます。 INSERT、UPDATE、DELETE、SELECT などの DML ステートメントを使用すると、ユーザーはデータベースのデータを挿入、変更、削除、取得できます。 CREATE、ALTER、DROP などの DDL ステートメントを使用すると、データベース マネージャーは、テーブル、インデックス、ユーザーなどのデータベース オブジェクトを作成、変更、削除できます。

Script アクティビティを使用すると、企業内または Azure 仮想マシン (VM) 上の次のいずれかのデータ ストアで SQL スクリプトを呼び出すことができます。

• Azure Database for PostgreSQL (バージョン 2.0)
• Azure SQL Database
• Azure Synapse Analytics
• SQL Server Database。 SQL Serverを使用している場合は、データベースをホストするのと同じコンピューターまたはデータベースにアクセスできる別のコンピューターにセルフホステッド統合ランタイムをインストールします。 Self-Hosted 統合ランタイムは、オンプレミス/Azure VM 上のデータ ソースを、セキュリティで保護された管理された方法でクラウド サービスに接続するコンポーネントです。 詳細については、セルフホステッド統合ランタイムに関する記事をご覧ください。
• Oracle
• Snowflake

このスクリプトには、1 つの SQL ステートメントまたは順に実行される複数の SQL ステートメントを含めることができます。 スクリプト タスクは、次の目的で使用できます。

• データを挿入する準備として、テーブルを切り捨てます。
• テーブル、ビューなどのデータベース オブジェクトを、作成、変更、および削除します。
• データの読み込みを行う前にファクト テーブルとディメンション テーブルを再作成します。
• ストアド プロシージャを実行します。 SQL ステートメントで、一時テーブルから結果を返すストアド プロシージャが呼び出される場合は、WITH RESULT SETS オプションを使用して結果セットのメタデータを定義します。
• クエリから返された行セットを、下流で使用するためのアクティビティ出力として保存します。

構文の詳細

スクリプト アクティビティを定義するための JSON 形式を次に示します。

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

次の表に、JSON のプロパティを示します。

アクティビティの出力

サンプル出力:

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

UI を使用して Script アクティビティを構成する

[インライン スクリプト]

インライン スクリプトでは、スクリプトがパイプライン メタデータの一部として格納されるため、パイプライン CI/CD との統合に適しています。

ログ記録

ログ オプション:

• 無効 - 実行出力はログに記録されません。
• アクティビティの出力: スクリプト実行の出力はアクティビティ出力に追加されます。 その場合は、ダウンストリーム アクティビティで使用できます。 出力サイズは 4 MB に制限されています。
• 外部ストレージ: 出力をストレージに保持します。 出力サイズが 2 MB を超える場合、または出力を明示的にストレージ アカウント保持する場合は、このオプションを使用します。

関連コンテンツ

別の手段でデータを変換する方法を説明している次の記事を参照してください。

• U-SQL アクティビティ
• Hive アクティビティ
• Pig アクティビティ
• MapReduce アクティビティ
• Hadoop Streaming アクティビティ
• Spark アクティビティ
• .NETカスタム アクティビティ
• ストアド プロシージャ アクティビティ