Databricks ジョブを実行してデータを変換する

適用対象: Azure Data Factory Azure Synapse Analytics

pipeline のAzure Databricks ジョブ アクティビティは、サーバーレス ジョブを含む、Azure Databricks ワークスペースで Databricks ジョブを実行します。 この記事は、データ変換とサポートされる変換アクティビティの概要を説明する、 データ変換アクティビティ に関する記事に基づいています。 Azure Databricksは、Apache Spark を実行するためのマネージド プラットフォームです。

Databricks ジョブは、Azure Data Factory Studio ユーザー インターフェイスを使用して直接作成できます。

UI を使用してパイプラインにAzure Databricksのジョブ アクティビティを追加する

パイプライン内のAzure Databricksにジョブ アクティビティを使用するには、次の手順を実行します。

1. [パイプライン アクティビティ] ウィンドウで ジョブ を検索し、ジョブ アクティビティをパイプライン キャンバスにドラッグします。

2. まだ選択されていない場合は、キャンバス上でその新しいジョブ アクティビティを選びます。

3. Azure Databricks タブを選択して、Azure Databricks にリンクされたサービスを選択するか、新しいサービスを作成します。

   注

   Azure Databricks ジョブ アクティビティはサーバーレス クラスターで自動的に実行されるため、リンクされたサービス構成でクラスターを指定する必要はありません。 代わりに、[ サーバーレス ] オプションを選択します。

   

4. Settings タブを選択し、Azure Databricksで実行するジョブ、ジョブに渡すオプションの基本パラメーター、およびジョブを実行するためにクラスターにインストールするその他のライブラリを指定します。

   

Databricks ジョブ アクティビティの定義

Databricks ジョブ アクティビティのサンプル JSON 定義を次に示します。

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Databricks ジョブ アクティビティのプロパティ

次の表で、JSON 定義で使用される JSON プロパティについて説明します。

ジョブとパイプラインの間でのパラメーターの受け渡し

Databricks アクティビティの jobParameters プロパティを使用して、パラメーターをジョブに渡すことができます。