Azure Stream Analytics は、ストリーム処理用のフル マネージド サービスとしてのプラットフォーム (PaaS) です。 この記事では、Stream Analytics クラスター、ジョブ、ジョブのコンポーネントの概念を紹介することで、Stream Analytics のリソース モデルについて説明します。
Stream Analytics タスク
Stream Analytics ジョブは、Stream Analytics の基本的な単位であり、ストリーム処理ロジックを定義して実行できます。 ジョブは、次の 3 つの主要なコンポーネントで構成されます。
- 入力
- アウトプット
- クエリ
入力
ジョブには、連続してデータを読み取る入力を 1 つ以上含めることができます。 これらのストリーミング入力データ ソースには、Azure Event Hubs、Azure IoT Hub、または Azure Storage があります。 Stream Analytics では、ストリーミング データをエンリッチするためによく使用される静的または低速の変化する入力データ (参照データと呼ばれます) の読み取りもサポートされています。 これらの入力をジョブに追加することは、0 コードの操作です。
アウトプット
ジョブには、データを継続的に書き込む出力を 1 つ以上含めることができます。 Stream Analytics では、Azure SQL Database、Azure Data Lake Storage、Azure Cosmos DB、Power BI など、12 種類の出力シンクがサポートされています。 これらの出力も、ゼロコードの操作でジョブに追加できます。
クエリ
ジョブに SQL クエリを記述することで、ストリーム処理ロジックを実装できます。 豊富な SQL 言語サポートにより、複雑な JSON の解析、値のフィルター処理、集計の計算、結合の実行、地理空間分析や異常検出などのより高度なユース ケースなどのシナリオに対処できます。 JavaScript ユーザー定義関数 (UDF) とユーザー定義集計 (UDA) を使用して、この SQL 言語を拡張することもできます。 Stream Analytics を使用すると、ジョブの設定で簡単な構成を使用して、遅延イベントと順序切れイベントを簡単に調整できます。 また、入力ソースでの入力イベントの到着時間、またはイベントがイベント ソースで生成された時刻に基づいてクエリを実行することもできます。
ジョブを実行する
入力、出力、クエリを構成してジョブを開発したら、ストリーミング ユニットの数を指定してジョブを開始できます。 ジョブが開始されると、 ジョブは実行中 の状態になり、明示的に停止するか、回復不能なエラーが発生するまで、その状態を維持します。 ジョブが実行状態にあるとき、入力ソースからデータを継続的にプルし、クエリロジックを実行して結果を生成し、これによりミリ秒単位のエンドツーエンドレイテンシーで結果が出力シンクに書き込まれます。
ジョブが開始されると、Stream Analytics サービスはクエリのコンパイルを処理し、ジョブで構成されたストリーミング ユニットの数に基づいて特定の量のコンピューティングとメモリを割り当てます。 基盤となるインフラストラクチャは、プラットフォームによって自動的に管理されるため、クラスターのメンテナンス、セキュリティ パッチなどについて心配する必要はありません。 Standard SKU でジョブを実行すると、ジョブの実行時にのみストリーミング ユニットに対して課金されます。
Stream Analytics クラスター
既定では、Stream Analytics ジョブは Standard SKU を形成する Standard マルチテナント環境で実行されます。 Stream Analytics には、自分に属する Stream Analytics クラスター全体をプロビジョニングできる専用 SKU も用意されています。 これにより、クラスターで実行されるジョブを完全に制御できます。 Stream Analytics クラスターの最小サイズは 12 ストリーミング ユニットであり、プロビジョニングされた時点からクラスター容量全体に対して課金されます。 Stream Analytics クラスターの利点と、それを使用するタイミングの詳細を確認できます。
次のステップ
Azure Stream Analytics とその他の概念を管理する方法について説明します。