イベントストリームの状態とパフォーマンスを監視する

Microsoft Fabric イベントストリーム機能を使用して、ストリーミング イベント データ、インジェストの状態、およびインジェストのパフォーマンスを監視できます。 この記事では、メトリックを使用してイベントストリームの状態を監視し、ログ、エラー、データの分析情報を確認する方法について説明します。

イベントストリームには、 データ分析情報ランタイム ログという 2 種類の監視エクスペリエンスがあります。 選択したソースまたはコピー先に応じて、1 つまたは両方のビューを使用できます。

前提条件

  • Eventstream 項目が配置されているビューアー以上のアクセス許可を持つワークスペースへのアクセス。
  • イベントストリームに追加された Azure Event Hubs のソースまたはレイクハウスのデスティネーション。

データインサイト

メイン エディターの下部ウィンドウに [ データ分析情報 ] タブが表示されます。 このタブに、イベントストリーム、ソース、ターゲットの状態とパフォーマンスを監視するために使用できるメトリックが表示されます。 ソースとターゲットごとに異なるメトリックがあります。

メイン エディター キャンバスでノードを選択すると、その特定のノードのメトリックが [ データ分析情報 ] タブに表示されます。

イベントストリーム ノードのデータ分析情報

[ データ分析情報 ] タブには、イベントストリーム ノードの次のメトリックが表示されます。

メトリック ユニット 説明
IncomingMessages カウント 指定した期間にイベント ストリームに送信されたイベントまたはメッセージの数。
OutgoingMessages カウント 指定した期間にイベント ストリームから送信されたイベントまたはメッセージの数。
IncomingBytes バイト 指定した期間にわたるイベントストリームの受信バイト数。
OutgoingBytes バイト 指定した期間にわたるイベントストリームの送信バイト数。

イベントストリームのデータ分析情報を表示するには、次の手順に従います。

  1. メイン エディター キャンバスで、eventstream ノードを選択します。

  2. 下部のウィンドウで、[ データ分析情報 ] タブを選択します。

    データがイベントストリーム内にある場合は、メトリック グラフが表示されます。

  3. タブの右側で、表示するメトリックの横にあるチェック ボックスをオンにします。

eventstream メトリックを示すスクリーンショット。

Azure Event Hubs、Azure IoT Hub、lakehouse、eventhouse、派生ストリーム、および Fabric アクティベーター ノードのデータ分析情報

[データ分析情報] タブには、Azure Event Hubs、Azure IoT Hub、lakehouse、eventhouse (インジェスト モード前のイベント処理)、派生ストリーム、および Fabric アクティベーター ノードに関する次のメトリックが表示されます。

メトリック ユニット 説明
入力イベント カウント eventstream エンジンがイベントストリーム (lakehouse、eventhouse、derived stream、または Fabric Activator 変換先) またはイベント ソース (Azure Event Hubs または Azure IoT Hub ソース) からプルするイベント データ項目の数。
入力イベントのバイト数 バイト eventstream エンジンがイベントストリーム(レイクハウス、イベントハウス、導出ストリーム、またはファブリック アクティベーター変換先)またはイベント ソース(Azure Event Hubs または Azure IoT Hub ソース)から取得するイベントデータの量。
出力イベント カウント eventstream エンジンがレイクハウスまたはイベントハウス (レイクハウス、イベントハウス、派生ストリーム、または Fabric アクティベーターの送信先) またはイベント ソース (Azure Event Hubs または Azure IoT Hub ソース) から送信するイベント データ項目の数。
バックログされた入力イベント カウント イベントストリーム エンジンでバックログされる入力イベントの数。
実行時エラー カウント イベント処理に関連するエラーの総数。
データ変換エラー カウント 予想される出力スキーマに変換できない出力イベントの数。
逆シリアル化エラー カウント eventstream エンジン内で逆シリアル化できない入力イベントの数。
ウォーターマークの遅延 このソースまたはターゲットのすべての出力のすべてのパーティションにわたる最大のウォーターマーク遅延。 これは、ウォール クロック時間から最大のウォーターマークを差し引いて計算されます。

Azure イベント ハブ、Azure IoT ハブ、lakehouse、eventhouse、派生ストリーム、または Fabric アクティベーターのデータ分析情報を表示するには、

  1. メイン エディター キャンバスで、Azure Event Hubs、Azure IoT Hub、lakehouse、eventhouse、派生ストリーム、または Fabric Activator ノードを選択します。

  2. 下部のウィンドウで、[ データ分析情報 ] タブを選択します。

    データがイベント ハブ、IoT ハブ、lakehouse、eventhouse、派生ストリーム、または Fabric アクティベーター内にある場合は、メトリック グラフが表示されます。

  3. タブの右側で、表示するメトリックの横にあるチェック ボックスをオンにします。

ソースとターゲットのメトリックを示すスクリーンショット。

ストリーミング コネクタのソース ノードに関するデータ分析情報

ストリーミング コネクタのソース ノードには、次のソースが含まれます。

  • Amazon Kinesis Data ストリーム
  • Amazon MSK Kafka
  • Apache Kafka
  • Azure Cosmos DB の CDC
  • Azure Data Explorer
  • Azure Service Bus
  • Azure SQL データベースの変更データキャプチャ(CDC)
  • Azure SQL マネージド インスタンス CDC
  • Confluent Cloud Kafka
  • Google Cloud Pub/Sub(グーグル クラウド パブ/サブ)
  • HTTP
  • MongoDB CDC
  • MQTT
  • MySQL データベース CDC
  • PostgreSQL データベース CDC
  • リアルタイムの天気
  • Solace PubSub+
  • 仮想マシン (VM) データベース上の SQL Server (DB)

ストリーミング コネクタのソース ノードの [データ分析情報] タブでは、次のメトリックを使用できます。

メトリック ユニット 説明
ソース発信イベント カウント 変換から送信され (ある場合)、worker の名前付きソース コネクタに属するタスクのイベントストリームに書き込まれたレコードの数 (タスクが最後に再起動されてから)。
発信元到着イベント カウント 変換が適用される前に、ワーカーの名前付きソース コネクタに属するタスクによって生成またはポーリングされたレコードの数 (タスクが最後に再起動されてから)。
ログに記録されたコネクタ エラー カウント コネクタ タスクがログに記録したエラーの数。
コネクタ処理エラー カウント これらのコネクタ タスクのレコード処理エラーの数。
コネクタ処理エラー カウント 再試行エラーを含む、これらのコネクタ タスクのレコード処理エラーの数。
スキップされたコネクタ イベント カウント これらのコネクタ タスク内のエラーが原因でスキップされたレコードの数。

ストリーミング コネクタ ソースのデータ分析情報を表示するには:

  1. [ 外部ソースの使用] を選択し、ストリーミング コネクタ ソースを選択します。

  2. ストリーミング コネクタ ソースを構成して発行します。

  3. ライブ ビューの下部ウィンドウで、[ データ分析情報 ] タブを選択します。

    データがストリーミング コネクタ ソース内にある場合は、メトリック グラフが表示されます。

  4. タブの右側で、表示するメトリックの横にあるチェック ボックスをオンにします。

コネクタのソース メトリックを示すスクリーンショット。

ランタイム ログ

[ランタイム ログ] タブを使用して、eventstream エンジンで発生する詳細なログを確認します。 ランタイム ログには、警告、エラー、情報の 3 つの重大度レベルがあります。

Azure イベント ハブ、Azure IoT ハブ、ストリーミング コネクタ ソース、lakehouse、eventhouse (インジェスト モード前のイベント処理 )、または Fabric アクティベーターのランタイム ログを表示するには:

  1. メイン エディター キャンバスで、ノードを選択します。

  2. 下部のウィンドウで、[ ランタイム ログ ] タブを選択します。

    データが Azure イベント ハブ、Azure IoT ハブ、ストリーミング コネクタ ソース、lakehouse、eventhouse、または Fabric アクティベーター内にある場合は、ログが表示されます。

  3. [キーワードでフィルター] オプションを使用してログを検索するか、重大度または種類を変更して一覧をフィルター処理します。

  4. 最新のログを表示するには、[最新の情報に更新] を選択します。

ソースと宛先のランタイム ログを示すスクリーンショット。