次の方法で共有

Azure Data Factoryまたは Synapse Analytics で Hadoop Hive アクティビティを使用してデータを変換する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。 データ統合を初めて使用する場合は、Fabric Data Factory から始めます。 既存の ADF ワークロードをFabricにアップグレードして、データ サイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

Azure Data Factoryまたは Synapse Analytics pipeline の HDInsight Hive アクティビティは独自のまたは on-demand HDInsight クラスターで Hive クエリを実行します。 この記事は、データ変換とサポートされる変換アクティビティの概要を説明する、 データ変換アクティビティ に関する記事に基づいています。

Azure Data Factoryと Synapse Analytics を初めて使用する場合は、Azure Data Factory または Synapse Analytics の概要に関する記事を読み、この記事を読む前に Tutorial: transform data を実行してください。

UI を使用して HDInsight Hive アクティビティをパイプラインに追加する

パイプライン内のAzure Data Lake Analyticsに HDInsight Hive アクティビティを使用するには、次の手順を実行します。

  1. パイプラインの [アクティビティ] ペイン内で Hive を検索し、Hive アクティビティをパイプライン キャンバスにドラッグします。

  2. まだ選択されていない場合は、キャンバスで新しい Hive アクティビティを選択します。

  3. HDI Cluster タブを選択して、Hive アクティビティの実行に使用する HDInsight クラスターへのリンク サービスを選択または新規作成します。

    Hive アクティビティの UI を示しています。

  4. [スクリプト] タブを選択して、新しいストレージのリンクされたサービスと、スクリプトをホストするストレージの場所内のパスを選択または作成します。

    Hive アクティビティの [スクリプト] タブの UI を示しています。

構文

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveScript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

構文の詳細

プロパティ 内容 必須
名前 アクティビティの名前 はい
説明 アクティビティの用途を説明するテキストです。 いいえ
型 Hive アクティビティの場合、アクティビティの種類は HDinsightHive です はい
linkedServiceName リンクされたサービスとして登録されている HDInsight クラスターへの参照。 このリンクされたサービスの詳細については、計算のリンクされたサービスに関する記事をご覧ください。 はい
scriptLinkedService 実行する Hive スクリプトを格納するために使用される Azure Storage リンクされたサービスへの参照。 ここでは、Azure Blob Storage および ADLS Gen2 リンクされたサービスのみがサポートされています。 このリンクされたサービスを指定しない場合は、HDInsight のリンクされたサービスで定義されているAzure Storageリンクされたサービスが使用されます。 いいえ
scriptPath scriptLinkedService によって参照されるAzure Storageに格納されているスクリプト ファイルへのパスを指定します。 ファイル名は大文字と小文字が区別されます。 はい
getDebugInfo hdInsight クラスター (または scriptLinkedService で指定) によって使用されるAzure Storageにログ ファイルをコピーするタイミングを指定します。 使用できる値は以下の通りです。None、Always、または Failure。 既定値:[なし] : いいえ
引数 Hadoop ジョブの引数の配列を指定します。 引数はコマンド ライン引数として各タスクに渡されます。 いいえ
定義する Hive スクリプト内で参照するキーと値のペアとしてパラメーターを指定します。 いいえ
クエリタイムアウト (queryTimeout) クエリのタイムアウト値 (分単位)。 HDInsight クラスターで Enterprise セキュリティ パッケージが有効になっているときに適用できます。 いいえ

Note

queryTimeout の既定値は 120 分です。

関連するコンテンツ

別の手段でデータを変換する方法を説明している次の記事を参照してください。

  • Last updated on