Azure Data Factory または Synapse Analytics を使用してAzure Data Explorer間でデータをコピーする

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、Azure Data Factory パイプラインと Synapse Analytics パイプラインでコピー アクティビティを使用して、Azure Data Explorer との間でデータをコピーする方法について説明します。 この記事は、コピー アクティビティの概要を示しているコピー アクティビティの概要に関する記事に基づいています。

サポートされる機能

このAzure Data Explorer コネクタは、次の機能でサポートされています。

(1) Azure統合ランタイム (2) セルフホステッド統合ランタイム

サポートされている任意のソース データ ストアからAzure Data Explorerにデータをコピーできます。 Azure Data Explorerからサポートされている任意のシンク データ ストアにデータをコピーすることもできます。 コピー アクティビティによってソースまたはシンクとしてサポートされているデータ ストアの一覧については、サポートされているデータ ストアに関するページの表をご覧ください。

Azure Data Explorer コネクタを使用すると、次の操作を行うことができます。

• Microsoft Entra アプリケーション トークン認証をサービス プリンシパルで使用して、データをコピーします。
• ソースとして、KQL (Kusto) クエリを使用してデータを取得する。
• シンクとして、コピー先テーブルにデータを追加する。

作業の開始

パイプラインでコピー アクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

• データのコピー ツール
• Azure portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager テンプレート

UI を使用して Azure Data Explorer にリンクされたサービスを作成する

Azure ポータル UI でAzure Data Explorerするリンクされたサービスを作成するには、次の手順に従います。

1. Azure Data Factoryまたは Synapse ワークスペースの [管理] タブを参照し、[リンクされたサービス] を選択し、[新規] をクリックします。

   • Azure Data Factory
   • Azure Synapse

   Azure Data Factory UI を使用した新しいリンク サービスの作成のスクリーンショット

2. エクスプローラーを検索し、Azure Data Explorer (Kusto) コネクタを選択します。

   

3. サービスの詳細を構成し、接続をテストして、新しいリンク サービスを作成します。

   

コネクタの構成の詳細

次のセクションでは、Azure Data Explorer コネクタに固有のエンティティを定義するために使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

Azure Data Explorer コネクタでは、次の認証の種類がサポートされています。 詳細については、対応するセクションをご覧ください。

• サービス プリンシパルの認証
• システム割り当てマネージド ID 認証
• ユーザー割り当てマネージド ID 認証

サービス プリンシパルの認証

サービス プリンシパルの認証を使用するには、次の手順に従ってサービス プリンシパルを取得し、アクセス許可を付与します。

1. アプリケーションをMicrosoft ID プラットフォームに登録します。 方法については、「Quickstart: Microsoft ID プラットフォームを参照してください。 これらの値を記録しておきます。リンクされたサービスを定義するときに使います。

   • アプリケーション ID
   • アプリケーション キー
   • テナント ID

2. Azure Data Explorerでサービス プリンシパルに適切なアクセス許可を付与します。 ロールとアクセス許可>管理の詳細については、「Manage Azure Data Explorer データベースのアクセス許可>

   • ソースとして、少なくともデータベース ビューアー ロールをデータベースに付与します。
   • シンクとして、少なくともデータベース ユーザー ロールをデータベースに付与します

Azure Data Explorerのリンクされたサービスでは、次のプロパティがサポートされています。

例: サービス プリンシパル キー認証の使用

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

システム割り当てマネージド ID 認証

Azure リソースのマネージド ID の詳細については、「Azure リソースの管理 IDを参照してください。

システム割り当てマネージド ID 認証を使用するには、次の手順に従ってアクセス許可を付与します。

1. ファクトリまたは Synapse ワークスペースと共に生成されたマネージド ID オブジェクト ID の値をコピーして、マネージド ID 情報を取得します。

2. マネージド ID に、Azure Data Explorerで適切なアクセス許可を付与します。 ロールとアクセス許可>管理の詳細については、「Manage Azure Data Explorer データベースのアクセス許可>

   • ソースとして、データベース ビューアー ロールをデータベースに付与する。
   • シンクとして、データベース インジェスター ロールおよびデータベース ビューアー ロールをデータベースに付与する。

Azure Data Explorerのリンクされたサービスでは、次のプロパティがサポートされています。

例: システム割り当てマネージド ID 認証を使用する

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

ユーザー割り当てマネージド ID 認証

Azure リソースのマネージド ID の詳細については、Azure リソースの管理 ID に関するページを参照してください

ユーザー割り当てマネージド ID 認証を使用するには、次の手順に従います。

1. ユーザー割り当てマネージド ID を 1 つまたは複数作成しAzure Data Explorerでアクセス許可を付与します。 ロールとアクセス許可>管理の詳細については、「Manage Azure Data Explorer データベースのアクセス許可>

   • ソースとして、少なくともデータベース ビューアー ロールをデータベースに付与します。
   • シンクとして、少なくともデータベースのデータ取り込みロールをデータベースに付与します。

2. 1 つ以上のユーザー割り当てマネージド ID をデータ ファクトリまたは Synapse ワークスペースに割り当て、ユーザー割り当てマネージド ID ごとに資格情報を作成します。

Azure Data Explorerのリンクされたサービスでは、次のプロパティがサポートされています。

例: ユーザー割り当てマネージド ID 認証を使用する

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

データセットのプロパティ

データセットの定義に使用できるセクションとプロパティの一覧については、データセットに関する記事をご覧ください。 このセクションでは、Azure Data Explorer データセットでサポートされるプロパティの一覧を示します。

データをAzure Data Explorerにコピーするには、データセットの type プロパティを AzureDataExplorerTable に設定します。

次のプロパティがサポートされています。

データセットのプロパティの例:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Copy アクティビティ のプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインとアクティビティに関するページを参照してください。 このセクションでは、Azure Data Explorerのソースとシンクでサポートされているプロパティの一覧を提供します。

ソースとしてのAzure Data Explorer

Azure Data Explorerからデータをコピーするには、Copy アクティビティ ソースの type プロパティを AzureDataExplorerSource に設定します。 コピー アクティビティの source セクションでは、次のプロパティがサポートされます。

例:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

シンクとしてのAzure Data Explorer

データをAzure Data Explorerにコピーするには、コピー アクティビティ シンクの type プロパティを AzureDataExplorerSink に設定します。 コピー アクティビティの sink セクションでは、次のプロパティがサポートされます。

例:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Mapping Data Flow のプロパティ

マッピング データ フローでデータを変換する場合は、Azure Data Explorerのテーブルの読み取りと書き込みを行うことができます。 詳細については、マッピング データ フローのソース変換とシンク変換に関する記事を参照してください。 ソースとシンクの種類として、Azure Data Explorer データセットまたは inline データセット を使用できます。

ソース変換

次の表に、Azure Data Explorer ソースでサポートされるプロパティの一覧を示します。 これらのプロパティは、[ソース オプション] タブで編集できます。

Azure Data Explorerソース スクリプトの例

ソースの種類としてデータセットAzure Data Explorer使用する場合、関連するデータ フロー スクリプトは次のようになります。

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

インライン データセットを使用する場合、関連付けられているデータ フロー スクリプトは次のようになります。

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

シンク変換

次の表に、Azure Data Explorer シンクでサポートされているプロパティを示します。 これらのプロパティは、[設定] タブで編集できます。インライン データセットを使用する場合、「データセットのプロパティ」セクションで説明されているプロパティと同じ追加の設定が表示されます。

Azure Data Explorer のシンクスクリプトの例

シンクの種類としてデータセットAzure Data Explorer使用する場合、関連するデータ フロー スクリプトは次のようになります。

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

インライン データセットを使用する場合、関連付けられているデータ フロー スクリプトは次のようになります。

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Lookup アクティビティのプロパティ

プロパティの詳細については、ルックアップ アクティビティに関する記事を参照してください。

関連コンテンツ

• コピー アクティビティでソースおよびシンクとしてサポートされるデータ ストアの一覧については、サポートされるデータ ストアに関するページを参照してください。

• Azure Data Factoryおよび Synapse Analytics から Azure Data Explorer にデータを<>コピーする方法について説明します。