クイックスタート: ARM テンプレートを使用してAzure Data Factoryを作成する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。データ統合を初めて使用する場合は、Fabric Data Factory から始めます。既存の ADF ワークロードをFabricにアップグレードして、データサイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

Fabric無料試用版を開始します。
Azure Data Factory から Microsoft Fabric の Data Factory へのアップグレード

このクイックスタートでは、Azure Resource Manager テンプレート (ARM テンプレート) を使用してAzure データファクトリを作成する方法について説明します。このデータファクトリで作成するパイプラインは、Azure BLOB ストレージ内のあるフォルダーから別のフォルダーへデータをコピーします。 Azure Data Factoryを使用してデータを変換する方法については、「Sparkを使用してデータを変換するチュートリアル」を参照してください。

Azure Resource Manager テンプレートは、プロジェクトのインフラストラクチャと構成を定義する JavaScript Object Notation (JSON) ファイルです。このテンプレートでは、宣言型の構文が使用されています。デプロイしようとしているものを、デプロイを作成する一連のプログラミングコマンドを記述しなくても記述できます。

注釈

この記事では、Data Factory サービスの詳細な概要については説明しません。 Azure Data Factory サービスの概要については、 Azure Data Factory。

環境が前提条件を満たし、ARM テンプレートの使用に慣れている場合は、 [Azure] ボタンを選択します。テンプレートがAzure ポータルで開きます。

前提条件

Azure サブスクリプション

Azure サブスクリプションがない場合は、開始する前に free アカウントを作成します。

ファイルを作成する

メモ帳などのテキストエディターを開き、次の内容を含む emp.txt という名前のファイルを作成します。

John, Doe
Jane, Doe

C:\ADFv2QuickStartPSH フォルダーにファイルを保存します (フォルダーがまだ存在しない場合は作成します)。

テンプレートを確認する

このクイックスタートで使用するテンプレートは、Azure クイックスタートテンプレートから取得します。

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "metadata": {
    "_generator": {
      "name": "bicep",
      "version": "0.26.54.24096",
      "templateHash": "17339534711754973978"
    }
  },
  "parameters": {
    "dataFactoryName": {
      "type": "string",
      "defaultValue": "[format('datafactory{0}', uniqueString(resourceGroup().id))]",
      "metadata": {
        "description": "Data Factory Name"
      }
    },
    "location": {
      "type": "string",
      "defaultValue": "[resourceGroup().location]",
      "metadata": {
        "description": "Location of the data factory."
      }
    },
    "storageAccountName": {
      "type": "string",
      "defaultValue": "[format('storage{0}', uniqueString(resourceGroup().id))]",
      "metadata": {
        "description": "Name of the Azure storage account that contains the input/output data."
      }
    },
    "blobContainerName": {
      "type": "string",
      "defaultValue": "[format('blob{0}', uniqueString(resourceGroup().id))]",
      "metadata": {
        "description": "Name of the blob container in the Azure Storage account."
      }
    }
  },
  "variables": {
    "dataFactoryLinkedServiceName": "ArmtemplateStorageLinkedService",
    "dataFactoryDataSetInName": "ArmtemplateTestDatasetIn",
    "dataFactoryDataSetOutName": "ArmtemplateTestDatasetOut",
    "pipelineName": "ArmtemplateSampleCopyPipeline"
  },
  "resources": [
    {
      "type": "Microsoft.Storage/storageAccounts/blobServices",
      "apiVersion": "2023-01-01",
      "name": "[format('{0}/{1}', parameters('storageAccountName'), 'default')]",
      "dependsOn": [
        "[resourceId('Microsoft.Storage/storageAccounts', parameters('storageAccountName'))]"
      ]
    },
    {
      "type": "Microsoft.Storage/storageAccounts",
      "apiVersion": "2023-01-01",
      "name": "[parameters('storageAccountName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "Standard_LRS"
      },
      "kind": "StorageV2",
      "properties": {
        "minimumTlsVersion": "TLS1_2",
        "supportsHttpsTrafficOnly": true,
        "allowBlobPublicAccess": false
      }
    },
    {
      "type": "Microsoft.Storage/storageAccounts/blobServices/containers",
      "apiVersion": "2023-01-01",
      "name": "[format('{0}/{1}/{2}', parameters('storageAccountName'), 'default', parameters('blobContainerName'))]",
      "dependsOn": [
        "[resourceId('Microsoft.Storage/storageAccounts/blobServices', parameters('storageAccountName'), 'default')]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories",
      "apiVersion": "2018-06-01",
      "name": "[parameters('dataFactoryName')]",
      "location": "[parameters('location')]",
      "identity": {
        "type": "SystemAssigned"
      }
    },
    {
      "type": "Microsoft.DataFactory/factories/linkedservices",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('dataFactoryLinkedServiceName'))]",
      "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "[format('DefaultEndpointsProtocol=https;AccountName={0};AccountKey={1}', parameters('storageAccountName'), listKeys(resourceId('Microsoft.Storage/storageAccounts', parameters('storageAccountName')), '2023-01-01').keys[0].value)]"
        }
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.Storage/storageAccounts', parameters('storageAccountName'))]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories/datasets",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('dataFactoryDataSetInName'))]",
      "properties": {
        "linkedServiceName": {
          "referenceName": "[variables('dataFactoryLinkedServiceName')]",
          "type": "LinkedServiceReference"
        },
        "type": "Binary",
        "typeProperties": {
          "location": {
            "type": "AzureBlobStorageLocation",
            "container": "[parameters('blobContainerName')]",
            "folderPath": "input",
            "fileName": "emp.txt"
          }
        }
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.DataFactory/factories/linkedservices', parameters('dataFactoryName'), variables('dataFactoryLinkedServiceName'))]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories/datasets",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('dataFactoryDataSetOutName'))]",
      "properties": {
        "linkedServiceName": {
          "referenceName": "[variables('dataFactoryLinkedServiceName')]",
          "type": "LinkedServiceReference"
        },
        "type": "Binary",
        "typeProperties": {
          "location": {
            "type": "AzureBlobStorageLocation",
            "container": "[parameters('blobContainerName')]",
            "folderPath": "output"
          }
        }
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.DataFactory/factories/linkedservices', parameters('dataFactoryName'), variables('dataFactoryLinkedServiceName'))]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories/pipelines",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('pipelineName'))]",
      "properties": {
        "activities": [
          {
            "name": "MyCopyActivity",
            "type": "Copy",
            "typeProperties": {
              "source": {
                "type": "BinarySource",
                "storeSettings": {
                  "type": "AzureBlobStorageReadSettings",
                  "recursive": true
                }
              },
              "sink": {
                "type": "BinarySink",
                "storeSettings": {
                  "type": "AzureBlobStorageWriteSettings"
                }
              },
              "enableStaging": false
            },
            "inputs": [
              {
                "referenceName": "[variables('dataFactoryDataSetInName')]",
                "type": "DatasetReference"
              }
            ],
            "outputs": [
              {
                "referenceName": "[variables('dataFactoryDataSetOutName')]",
                "type": "DatasetReference"
              }
            ]
          }
        ]
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.DataFactory/factories/datasets', parameters('dataFactoryName'), variables('dataFactoryDataSetInName'))]",
        "[resourceId('Microsoft.DataFactory/factories/datasets', parameters('dataFactoryName'), variables('dataFactoryDataSetOutName'))]"
      ]
    }
  ],
  "outputs": {
    "name": {
      "type": "string",
      "value": "[variables('pipelineName')]"
    },
    "resourceId": {
      "type": "string",
      "value": "[resourceId('Microsoft.DataFactory/factories/pipelines', parameters('dataFactoryName'), variables('pipelineName'))]"
    },
    "resourceGroupName": {
      "type": "string",
      "value": "[resourceGroup().name]"
    },
    "location": {
      "type": "string",
      "value": "[parameters('location')]"
    }
  }
}

テンプレートにはAzureリソースが定義されています。

Microsoft。Storage/storageAccounts: ストレージアカウントを定義します。
Microsoft。DataFactory/factories: Azure Data Factoryを作成します。
Microsoft。DataFactory/factories/linkedServices: Azure Data Factoryリンクされたサービスを作成します。
Microsoft。DataFactory/factories/datasets: Azure Data Factory データセットを作成します。
Microsoft。DataFactory/factories/pipelines: Azure Data Factory パイプラインを作成します。

quickstart テンプレートギャラリーには、その他のAzure Data Factoryテンプレートサンプルがあります。

テンプレートのデプロイ

次の画像を選択し、Azure にサインインしてテンプレートを開きます。テンプレートは、Azure Data Factory アカウント、ストレージアカウント、BLOB コンテナーを作成します。
次の値を選択または入力します。

指定されていない限り、既定値を使用してAzure Data Factory リソースを作成します。
- Subscription: Azure サブスクリプションを選択します。
- [リソースグループ] : [新規作成] を選択し、リソースグループの一意の名前を入力し、 [OK] を選択します。
- [リージョン] :場所を選択します。たとえば、East US などとします。
- データファクトリ名: 規定値を使用します。
- [場所] :既定値を使用します。
- [ストレージアカウント名] : 既定値を使用します。
- BLOB コンテナー: 既定値を使用します。

デプロイされているリソースを確認する

[リソースグループに移動] を選択します。
Azure Data Factoryが作成されていることを確認します。
1. Azure Data Factory名の形式は、datafactory<uniqueid> です。
ご自分のストレージアカウントが作成されていることを確認します。
1. そのストレージアカウント名の形式は、storage<uniqueid> です。
作成されたストレージアカウントの名前を選択して、 [コンテナー] を選択します。
1. [コンテナー] ページで、作成した BLOB コンテナーを選択します。
  1. その BLOB コンテナー名の形式は、blob<uniqueid> です。

ファイルをアップロードする

[コンテナー] ページで、 [アップロード] を選択します。
右側のウィンドウで、[ ファイル ] ボックスを選択し、先ほど作成した emp.txt ファイルを参照して選択します。
[詳細設定] の見出しを展開します。
[アップロード先のフォルダー] ボックスに「input」と入力します。
[アップロード] ボタンを選択します。一覧に emp.txt ファイルとアップロードの状態が表示されます。
[閉じる] アイコン (X) を選択して、 [BLOB のアップロード] ページを閉じます。

コンテナーページは開いたままにしておいてください。そうすることで、このクイックスタートの最後に出力を確認できるからです。

トリガーを開始する

[データファクトリ] ページに移動し、作成したデータファクトリを選択します。
開くを Open Azure Data Factory Studio タイルで選択します。

著者 & 監視
[作成] タブを選択します。
作成したパイプライン (ArmtemplateSampleCopyPipeline) を選択します。
[トリガーの追加]>[Trigger Now](今すぐトリガー) の順に選択します。
[パイプラインの実行] の下の右側のウィンドウで、 [OK] を選択します。

パイプラインの監視

[監視] タブを選択します。
パイプラインの実行に関連付けられたアクティビティの実行が表示されます。このクイックスタートでは、パイプラインに、コピーという種類のアクティビティが 1 つのみ含まれます。そのため、そのアクティビティの実行が表示されます。

出力ファイルを検証する

パイプラインでは、BLOB コンテナー内に出力フォルダーが自動的に作成されます。そのうえで、input フォルダーから output フォルダーに emp.txt ファイルをコピーします。

Azure ポータルの Containers ページで Refresh を選択して、出力フォルダーを表示します。
フォルダー一覧で、 [output] を選択します。
emp.txt が output フォルダーにコピーされていることを確認します。

リソースをクリーンアップする

このクイックスタートで作成したリソースは、2 とおりの方法でクリーンアップすることができます。リソースグループ内のすべてのリソースを含むAzureリソースグループを削除できます。他のリソースをそのまま維持する場合は、このチュートリアルで作成したデータファクトリだけを削除してください。

リソースグループを削除すると、その中のデータファクトリも含めて、すべてのリソースが削除されます。次のコマンドを実行して、リソースグループ全体を削除します。

Remove-AzResourceGroup -ResourceGroupName $resourcegroupname

リソースグループ全体ではなく、データファクトリだけを削除する場合は、次のコマンドを実行します。

Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName

このクイックスタートでは、ARM テンプレートを使用してAzure Data Factoryを作成し、デプロイを検証しました。 Azure Data FactoryとAzure Resource Managerの詳細については、以下の記事に進んでください。

フィードバック

このページはお役に立ちましたか?

Last updated on 2026-04-07