データをコピーし、成功および失敗に関するメール通知を送信する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。データ統合を初めて使用する場合は、Fabric Data Factory から始めます。既存の ADF ワークロードをFabricにアップグレードして、データサイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

Fabric無料試用版を開始します。
Azure Data Factory から Microsoft Fabric の Data Factory へのアップグレード

このチュートリアルでは、いくつかの制御フロー機能を紹介する Data Factory パイプラインを作成します。このパイプラインは、Azure Blob Storage内のコンテナーから同じストレージアカウント内の別のコンテナーへの単純なコピーを実行します。コピーアクティビティが成功した場合、成功したコピー操作の詳細 (書き込まれたデータの量など) がパイプラインによって成功電子メールで送信されます。コピーアクティビティが失敗した場合、コピー失敗の詳細 (エラーメッセージなど) がパイプラインによって失敗電子メールで送信されます。チュートリアル全体を通じて、パラメーターを渡す方法が示されます。

シナリオの概要: Diagram はAzure Blob Storageを示しています。これはコピーのターゲットであり、成功した場合は詳細を含む電子メールを送信するか、失敗した場合はエラーの詳細を含む電子メールを送信します。

このチュートリアルでは、以下の手順を実行します。

データファクトリを作成します。
Azure Storageリンクされたサービスを作成します。
Azure BLOB データセットを作成する
Copy アクティビティと Web アクティビティを含むパイプラインを作成する
アクティビティの出力を後続のアクティビティに送信します。
パラメーターの引き渡しとシステム変数を利用します。
パイプラインの実行を開始します。
パイプラインとアクティビティの実行を監視します。

このチュートリアルでは、Azureポータルを使用します。他のメカニズムを使用してAzure Data Factoryを操作できます。目次の「クイックスタート」を参照してください。

前提条件

Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に free アカウントを作成してください。
Azure Storage アカウント。 BLOB ストレージをソース データストアとして使用します。 Azureストレージアカウントがない場合は、ストレージアカウントの作成に関する記事を参照してください。
Azure SQL Database。データベースをシンク データストアとして使用します。 Azure SQL Databaseにデータベースがない場合は、 Azure SQL Databaseに関する記事を参照してください。

BLOB テーブルを作成する

メモ帳を起動します。次のテキストをコピーし、input.txt ファイルとしてディスクに保存します。
```
John,Doe
Jane,Doe
```
Azure Storage Explorer次の手順を実行します。
1. adfv2branch コンテナーを作成します。
2. adfv2branch コンテナーに input フォルダーを作成します。
3. input.txt ファイルをコンテナーにアップロードします。

電子メールワークフローエンドポイントを作成する

パイプラインからの電子メールの送信をトリガーするには、Azure Logic Apps を使用してワークフローを定義します。ロジックアプリワークフローの作成の詳細については、「従量課金ロジックアプリワークフローの例を作成する」を参照してください。

メールワークフローの成功

CopySuccessEmail という名前の、従量課金ロジックアプリワークフローを作成します。 HTTP 要求が受信されたらという名前の要求トリガーを追加し、Send an email という名前の Office 365 Outlook アクションを追加します。メッセージが表示されたら、Office 365 Outlook アカウントにサインインします。

成功メールワークフローのスクリーンショットを示します。

要求トリガーの [要求本文の JSON スキーマ] ボックスに、次の JSON を入力します。

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

ワークフローデザイナーでの [要求] トリガーは、次の図のようになります。

[要求] トリガーがあるワークフローデザイナーのスクリーンショットが示されています。

[メールの送信] アクションに対しては、[要求本文の JSON スキーマ] で渡されるプロパティを利用して、メールの書式設定をカスタマイズします。たとえば次のようになります。

[メールの送信] という名前のアクションがあるワークフローデザイナーのスクリーンショットが示されています。

ワークフローを保存します。成功電子メールワークフローの HTTP Post 要求 URL をメモしておきます。

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

失敗したメール処理のワークフロー

同じ手順に従って、CopyFailEmail という名前の、別のロジックアプリワークフローを作成します。要求トリガーでは、[要求本文の JSON スキーマ] の値は同じです。 Subject のように電子メールの書式を変更し、失敗電子メールになるように調整します。たとえば次のようになります。

失敗メールのワークフローがあるワークフローデザイナーのスクリーンショットが示されています。

ワークフローを保存します。失敗電子メールワークフローの HTTP Post 要求 URL をメモしておきます。

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

2 つのワークフローの URL を取得できました。

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Data Factory の作成

Microsoft EdgeまたはGoogle Chrome Web ブラウザーを起動します。現在、Data Factory UI は、Microsoft Edgeおよび Google Chrome Web ブラウザーでのみサポートされています。
左上のメニューを展開し、[リソースの作成] を選択します。次に、 [Analytics>Data Factory] を選択します。
[新しいデータファクトリ] ページで、 [名前] に「ADFTutorialDataFactory」と入力します。

Azure データファクトリの名前は、グローバルに一意である必要があります。次のエラーが発生した場合は、データファクトリの名前を変更して (yournameADFTutorialDataFactory など) 作成し直してください。 Data Factory アーティファクトの名前付け規則については、Data Factory の名前付け規則に関する記事を参照してください。

データファクトリ名 "ADFTutorialDataFactory" は利用できません。
データファクトリを作成するAzure サブスクリプションを選択します。
[リソースグループ] について、次の手順のいずれかを行います。
- [Use existing (既存のものを使用)] を選択し、ドロップダウンリストから既存のリソースグループを選択します。
- [新規作成] を選択し、リソースグループの名前を入力します。
  
  リソースグループの詳細については、「リソースグループを使用してAzure リソースを管理するを参照してください。
バージョンとして [V2] を選択します。
データファクトリの場所を選択します。サポートされている場所のみがドロップダウンリストに表示されます。データファクトリで使用されるデータストア (Azure Storage、Azure SQL Databaseなど) とコンピューティング (HDInsight など) は、他のリージョンに存在できます。
[ダッシュボードにピン留めする] を選びます。
Create をクリックしてください。
作成が完了すると、図に示されているような [Data Factory] ページが表示されます。
[Open Azure Data Factory Studio タイルをクリックして、別のタブでAzure Data Factoryユーザーインターフェイス (UI) を起動します。

パイプラインを作成する

この手順では、1 つのCopy アクティビティと 2 つの Web アクティビティを含むパイプラインを作成します。このパイプラインの作成には次の機能を使用します。

データセットによってアクセスされるパイプラインのパラメーター。
成功/失敗電子メールを送信するロジックアプリワークフローを呼び出す Web アクティビティ。
(成功および失敗に基づいた) あるアクティビティと別のアクティビティの接続
アクティビティからの出力を後続のアクティビティへの入力として使用する

Data Factory UI のホームページで [調整] タイルをクリックします。
パイプラインのプロパティウィンドウで [パラメーター] タブに切り替え、 [新規] ボタンを使用して、種類が文字列の 3 つのパラメーター (sourceBlobContainer、sinkBlobContainer、receiver) を追加します。
- sourceBlobContainer - ソース BLOB データセットによって使用されるパイプライン内のパラメーターです。
- sinkBlobContainer - シンク BLOB データセットによって使用されるパイプライン内のパラメーターです。
- receiver - このパラメーターは、このパラメーターによって電子メールアドレスが指定されている受信者に成功または失敗の電子メールを送信するパイプライン内の 2 つの Web アクティビティによって使用されます。
[アクティビティ] ツールボックスで [Copy] を見つけ、パイプラインデザイナー画面に [Copy] アクティビティをドラッグアンドドロップします。
パイプラインデザイナーのサーフェスにドラッグした [Copy] アクティビティを選択します。下部にある [コピー] アクティビティのプロパティ ウィンドウで、 [ソース] タブに切り替えて [+ 新規] をクリックします。この手順でコピーアクティビティのソースデータセットを作成します。
New Dataset ウィンドウで、上部にある Azure タブを選択し、 Azure Blob Storageを選択し、 Continue を選択します。
[書式の選択] ウィンドウで、[DelimitedText] を選択し、[続行] を選択します。
[プロパティの設定] という新しいタブが表示されます。データセットの名前を「SourceBlobDataset」に変更します。 [リンクサービス] ドロップダウンを選択し、[+ 新規] を選択して、ソースデータセットに新しいリンクサービスを作成します。
[新しいリンクサービス] ウィンドウが表示され、リンクサービスに必要なプロパティを入力できます。
[New Linked Service](新しいリンクされたサービス) ウィンドウで、次の手順を完了します。
1. [名前] に「AzureStorageLinkedService」と入力します。
2. 「Storage アカウント名」の Azure ストレージアカウントを選択してください。
3. Create をクリックしてください。
次に表示される [プロパティの設定] ウィンドウで、[このデータセットを開く] を選択して、ファイル名のパラメーター化された値を入力します。
フォルダーには「@pipeline().parameters.sourceBlobContainer」、ファイル名には「emp.txt」と入力します。
[パイプライン] タブに戻り (または左側のツリービューでパイプラインをクリック)、デザイナーで [Copy] アクティビティを選択します。 ソースデータセットとして新しいデータセットが選択されていることを確認します。
プロパティウィンドウで [シンク] タブに切り替えて、 [Sink Dataset](シンクデータセット) の [+ 新規] をクリックします。ソースデータセットの作成と同様のこの手順では、コピーアクティビティのシンクデータセットを作成します。
New Dataset ウィンドウで、Azure Blob Storage Continueをクリックし、DelimitedText をもう一度 Select format ウィンドウで選択し、 Continue を再度クリックします。
データセットの [プロパティの設定] ページで、[名前] に SinkBlobDataset を入力し、LinkedService に AzureStorageLinkedService を選択します。
プロパティページの [詳細] セクションを展開し、[このデータセットを開く] を選択します。
データセットの [接続] タブで、[ファイルのパス] を編集します。フォルダーには「@pipeline().parameters.sinkBlobContainer」、ファイル名には「@concat(pipeline().RunId, '.txt')」と入力します。この式では、ファイル名に現在のパイプライン実行の ID を使用します。サポートされているシステム変数および式の一覧については、システム変数に関するページと式言語に関するページを参照してください。
上部にあるパイプラインのタブに切り替えて戻ります。検索ボックスで Web を検索し、[Web] アクティビティをパイプラインデザイナー画面にドラッグアンドドロップします。アクティビティの名前を「SendSuccessEmailActivity」に設定します。 Web アクティビティでは、任意の REST エンドポイントを呼び出すことができます。このアクティビティの詳細については、Web アクティビティに関する記事を参照してください。このパイプラインでは、Web アクティビティを使用して Logic Apps 電子メールワークフローを呼び出します。
[General](一般) タブから [設定] タブに切り替えて、次の手順を実行します。
1. [URL] で、成功電子メールを送信するロジックアプリワークフローの URL を指定します。
2. [メソッド] に [POST] を選択します。
3. [ヘッダー] セクションにある + [ヘッダーの追加] リンクをクリックします。
4. [コンテンツの種類] というヘッダーを追加し、それを application/json に設定します。
5. Body に次の JSON を指定してください。
```
{
    "message": "@{activity('Copy1').output.dataWritten}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}
```
  メッセージの本文には次のプロパティが含まれます。
  - メッセージ - @{activity('Copy1').output.dataWritten の値を渡す。前のコピーアクティビティのプロパティにアクセスし、dataWritten の値を渡します。失敗の場合、@{activity('CopyBlobtoBlob').error.message の代わりにエラー出力を渡します。
  - Data Factory Name - @{pipeline().DataFactory} から渡される値。これはシステム変数であり、対応するデータファクトリ名へのアクセスを可能にします。サポートされているシステム変数の一覧については、「システム変数」の記事を参照してください。
  - パイプライン名 - @{pipeline().Pipeline} の値を渡す。これもシステム変数であり、対応するパイプライン名へのアクセスを可能にします。
  - Receiver - "@pipeline().parameters.receiver" の値を渡す。パイプラインパラメーターにアクセスします。
Copy アクティビティを Web アクティビティに接続するには、Copy アクティビティの横にある緑色のチェックボックスボタンをドラッグし、Web アクティビティにドロップします。
[アクティビティ] ツールボックスからパイプラインデザイナー画面に別の [Web] アクティビティをドラッグアンドドロップし、 [名前] を「SendFailureEmailActivity」に設定します。
[設定] タブに切り替えて、次の手順を実行します。
1. [URL] で、失敗電子メールを送信するロジックアプリワークフローの URL を指定します。
2. [メソッド] に [POST] を選択します。
3. [ヘッダー] セクションにある + [ヘッダーの追加] リンクをクリックします。
4. [コンテンツの種類] というヘッダーを追加し、それを application/json に設定します。
5. ボディ に次の JSON を指定します。
```
{
    "message": "@{activity('Copy1').error.message}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}
```
パイプラインデザイナーで [Copy] アクティビティの右側にある赤い [X] ボタンを選択し、先ほど作成した SendFailureEmailActivity にドラッグアンドドロップします。
パイプラインを検証するために、ツールバーの [検証] ボタンをクリックします。 >> ボタンをクリックして パイプライン検証出力ウィンドウを閉じます。
エンティティ (データセットやパイプラインなど) を Data Factory サービスに発行するには、 [すべて公開] を選択します。 [正常に発行されました] というメッセージが表示されるまで待機します。

成功するパイプラインの実行をトリガーする

パイプラインの実行をトリガーするために、ツールバーの [トリガー] をクリックし、 [Trigger Now](今すぐトリガー) をクリックします。
[Pipeline Run](パイプラインの実行) ウィンドウで、次の手順を実行します。
1. sourceBlobContainer パラメーターに「adftutorial/adfv2branch/input」を入力します。
2. sinkBlobContainer パラメーターに「adftutorial/adfv2branch/output」を入力します。
3. receiver のメールアドレスを入力します。
4. [完了] をクリックします。

成功したパイプラインの実行を監視する

パイプラインの実行を監視するには、左側の [監視] タブに切り替えます。手動でトリガーしたパイプラインの実行が表示されます。 [最新の情報に更新] ボタンを使用して、一覧を更新します。
このパイプラインの実行に関連付けられているアクティビティの実行を表示するには、 [アクション] 列にある最初のリンクをクリックします。上部の [パイプライン] をクリックすると、前のビューに戻ることができます。 [最新の情報に更新] ボタンを使用して、一覧を更新します。

失敗するパイプラインの実行をトリガーする

左側で [編集] タブに切り替えます。
パイプラインの実行をトリガーするために、ツールバーの [トリガー] をクリックし、 [Trigger Now](今すぐトリガー) をクリックします。
[Pipeline Run](パイプラインの実行) ウィンドウで、次の手順を実行します。
1. sourceBlobContainer パラメーターに「adftutorial/dummy/input」を入力します。ダミーフォルダーが adftutorial コンテナーに存在しないことを確認します。
2. sinkBlobContainer パラメーターに「adftutorial/dummy/output」を入力します。
3. receiver のメールアドレスを入力します。
4. [完了] をクリックします。

失敗したパイプラインの実行を監視する

パイプラインの実行を監視するには、左側の [監視] タブに切り替えます。手動でトリガーしたパイプラインの実行が表示されます。 [最新の情報に更新] ボタンを使用して、一覧を更新します。
エラーの詳細を表示するには、パイプラインの実行の [エラー] リンクをクリックします。
このパイプラインの実行に関連付けられているアクティビティの実行を表示するには、 [アクション] 列にある最初のリンクをクリックします。 [最新の情報に更新] ボタンを使用して、一覧を更新します。パイプライン内のCopy アクティビティが失敗していることに注意してください。 Web アクティビティによる指定された受信者への失敗電子メールの送信は成功しました。
[アクション] 列の [エラー] リンクをクリックして、エラーの詳細を表示します。