Event Hubs データ接続 (プレビュー)

Microsoft Cloud Migration Factory (CMF) プログラムは、お客様が Fabric に移行できるように設計されています。 このプログラムは、顧客に無料でハンズオン キーボード リソースを提供します。 これらのリソースは、定義済みの合意されたスコープで、6 ~ 8 週間割り当てられます。 顧客の指名は、Microsoft アカウント チームから受け入れられるか、CMF チームに ヘルプの要求 を送信することによって直接受け入れられます。

Azure Event Hubs は、ビッグ データのストリーミング プラットフォームとなるイベント インジェスト サービスです。 Azure Synapse Data Explorer では、カスタマー マネージド Event Hubs からの継続的なインジェストが提供されます。

Event Hubs インジェスト パイプラインは、いくつかの手順で Azure Synapse Data Explorer にイベントを転送します。 最初に、Azure portal で Event Hubs を作成します。 次に、 特定の形式のデータを取り込むターゲット テーブルを Azure Synapse データ エクスプローラーで作成し、指定された インジェスト プロパティを使用して取り込みます。 Event Hubs 接続は、 イベント ルーティングを認識している必要があります。 データは、 イベント システムのプロパティ マッピングに従って、選択したプロパティで埋め込まれます。 Event Hubs への接続を作成して Event Hubs を作成し、イベントを送信します。 このプロセスは、Azure portal、C# または Python によるプログラム、または Azure Resource Manager テンプレートを使用して管理できます。

Azure Synapse Data Explorer でのデータ インジェストの一般的な情報については、「 Azure Synapse Data Explorer のデータ インジェストの概要」を参照してください。

データ形式

• データは EventData オブジェクトの形式で Event Hubs から読み取られます。

• サポートされる形式を確認してください。

  注

  Event Hub では、.raw形式はサポートされていません。

• GZip 圧縮アルゴリズムを使用してデータを圧縮できます。 Compressionでを指定します。

  • データ圧縮は、圧縮形式 (Avro、Parquet、ORC) ではサポートされていません。
  • カスタム エンコードおよび埋め込み システム プロパティ は、圧縮データではサポートされていません。

取り込み特性

インジェスト プロパティは、インジェスト プロセス、データのルーティング先と処理方法を指示します。 EventData.Properties を使用して、イベント インジェストのインジェスト プロパティを指定できます。 以下のプロパティを設定できます。

イベント ルーティング

Azure Synapse Data Explorer クラスターへの Event Hubs 接続を設定するときに、ターゲット テーブルのプロパティ (テーブル名、データ形式、圧縮、マッピング) を指定します。 データの既定のルーティングは、 static routingとも呼ばれます。 イベント プロパティを使用して、各イベントのターゲット テーブル プロパティを指定することもできます。 接続により、 EventData.Properties で指定されたデータが動的にルーティングされ、このイベントの静的プロパティがオーバーライドされます。

次の例では、Event Hubs の詳細を設定し、気象メトリック データをテーブル WeatherMetricsに送信します。 データは json 形式です。 mapping1 はテーブル WeatherMetricsで事前に定義されています。

var eventHubNamespaceConnectionString=<connection_string>;
var eventHubName=<event_hub>;

// Create the data
var metric = new Metric { Timestamp = DateTime.UtcNow, MetricName = "Temperature", Value = 32 }; 
var data = JsonConvert.SerializeObject(metric);

// Create the event and add optional "dynamic routing" properties
var eventData = new EventData(Encoding.UTF8.GetBytes(data));
eventData.Properties.Add("Table", "WeatherMetrics");
eventData.Properties.Add("Format", "json");
eventData.Properties.Add("IngestionMappingReference", "mapping1");
eventData.Properties.Add("Tags", "['mydatatag']");

// Send events
var eventHubClient = EventHubClient.CreateFromConnectionString(eventHubNamespaceConnectionString, eventHubName);
eventHubClient.Send(eventData);
eventHubClient.Close();

イベント システム プロパティのマッピング

システム プロパティには、イベントがエンキューされた時点で Event Hubs サービスによって設定されたプロパティが格納されます。 Azure Synapse Data Explorer Event Hubs 接続では、選択したプロパティがテーブルのデータ ランディングに埋め込まれます。

システム プロパティ

Event Hubs では、次のシステム プロパティが公開されます。

テーブルの [データ ソース] セクションで [イベント システムのプロパティ] を選択した場合は、テーブルのスキーマとマッピングにプロパティを含める必要があります。

スキーマ マッピングの例

テーブル スキーマ マッピングの例

データに 3 つの列 (Timespan、Metric、および Value) が含まれており、含めるプロパティが x-opt-enqueued-time および x-opt-offset の場合は、次のコマンドを使用してテーブル スキーマを作成または変更します。

    .create-merge table TestTable (TimeStamp: datetime, Metric: string, Value: int, EventHubEnqueuedTime:datetime, EventHubOffset:string)

CSV マッピングの例

次のコマンドを実行して、レコードの先頭にデータを追加します。 序数値に注意してください。

    .create table TestTable ingestion csv mapping "CsvMapping1"
    '['
    '   { "column" : "Timespan", "Properties":{"Ordinal":"2"}},'
    '   { "column" : "Metric", "Properties":{"Ordinal":"3"}},'
    '   { "column" : "Value", "Properties":{"Ordinal":"4"}},'
    '   { "column" : "EventHubEnqueuedTime", "Properties":{"Ordinal":"0"}},'
    '   { "column" : "EventHubOffset", "Properties":{"Ordinal":"1"}}'
    ']'

JSON マッピングの例

データは、システム プロパティのマッピングを使用して追加されます。 これらのコマンドを実行します。

    .create table TestTable ingestion json mapping "JsonMapping1"
    '['
    '    { "column" : "Timespan", "Properties":{"Path":"$.timestamp"}},'
    '    { "column" : "Metric", "Properties":{"Path":"$.metric"}},'
    '    { "column" : "Value", "Properties":{"Path":"$.value"}},'
    '    { "column" : "EventHubEnqueuedTime", "Properties":{"Path":"$.x-opt-enqueued-time"}},'
    '    { "column" : "EventHubOffset", "Properties":{"Path":"$.x-opt-offset"}}'
    ']'

Event Hubs 接続

Event Hubs を作成する

まだお持ちでない場合は、 Event Hubs を作成します。 Event Hubs への接続は、 Azure portal、 C# または Python、または Azure Resource Manager テンプレートを使用してプログラムで管理できます。

イベントを送信する

データを生成して Event Hubs に送信する サンプル アプリ を参照してください。

サンプル データを生成する方法の例については、「Event Hubs から Azure Synapse Data Explorer にデータを取り込む」を参照してください。

地理的災害回復ソリューションの設定

Event Hubs には、 geo ディザスター リカバリー ソリューションが用意されています。 Azure Synapse Data Explorer では、Event Hubs 名前空間 Alias サポートされていません。 ソリューションに geo ディザスター リカバリーを実装するには、プライマリ名前空間用とセカンダリ名前空間用の 2 つの Event Hubs データ接続を作成します。 Azure Synapse Data Explorer は、両方の Event Hubs 接続をリッスンします。

次のステップ

• Event Hubs から Azure Synapse Data Explorer にデータを取り込む
• C を使用して Azure Synapse Data Explorer の Event Hubs データ接続を作成する#
• Python を使用して Azure Synapse Data Explorer の Event Hubs データ接続を作成する
• Azure Resource Manager テンプレートを使用して Azure Synapse Data Explorer の Event Hubs データ接続を作成する