履歴データをAzure Data Explorerに取り込む方法

LightIngest は、既存のストレージ システムからAzure Data Explorerに履歴データを読み込む場合に便利です。 コマンド ライン引数の一覧を使用して独自のコマンドを作成できますが、この記事では、インジェスト ウィザードを使用してこのコマンドを自動生成する方法について説明します。 コマンドの作成に加えて、このプロセスを使用して新しいテーブルを作成し、スキーマ マッピングを作成することもできます。 このツールは、データセットからスキーマ マッピングを推論します。

宛先

1. Azure Data Explorer Web UI で、左側のメニューから Query を選択します。

2. データを取り込むデータベースを右クリックし、[ LightIngest] を選択します。

   

   Ingest data ウィンドウが開き、[Destination] タブが選択されています。 [クラスター] と [データベース] の各フィールドには、自動的に値が設定されます。

3. ターゲット テーブルを選択します。 新しいテーブルにデータを取り込むには、[ 新しいテーブル] を選択し、テーブル名を入力します。

   注記

   テーブル名は、スペース、英数字、ハイフン、アンダースコアなど、最大 1,024 文字まで指定できます。 特殊文字はサポートされていません。

   

4. [Next: Source](次へ: ソース) を選択します。

ソース

1. [ソースの選択で URL の追加またはコンテナーの選択を選択。

   • URL を追加するときに、[ ソースへのリンク] で、コンテナーへのアカウント キーまたは SAS URL を指定します。 SAS URL 手動 または 自動で作成できます。

   • ストレージ アカウントからコンテナーを選択したら、ドロップダウン メニューからストレージ サブスクリプション、ストレージ アカウント、コンテナーを選択します。

     

   注記

   インジェストでは、最大で 6 GB のファイル サイズがサポートされます。 100 MB から 1 GB の間のファイルを取り込むことをお勧めします。

2. LightIngest を使用してインジェスト プロセスの追加設定を定義するには、[ 詳細設定] を選択します。

   

3. Advanced 構成 ペインで、次の表に従って LightIngest 設定を定義します。

   

   プロパティ	説明
   作成時間パターン	たとえば、コンテナーのフォルダー構造に基づいて日付を適用する場合など、作成されたエクステントのインジェスト時間プロパティをパターンでオーバーライドする場合に指定します。 「作成時刻のパターン」も参照してください。
   BLOB 名パターン	取り込むファイルを識別するために使用するパターンを指定します。 指定されたコンテナー内の blob 名のパターンに一致するすべてのファイルを取り込みます。 ワイルドカードがサポートされます。 パターンを二重引用符で囲みます。
   Tag	取り込まれたデータに割り当てられたタグ。 タグには、任意の文字列を使用できます。
   ファイルの量を制限する	取り込むファイルの数を指定します。 指定された数を上限として、blob 名パターンに一致する最初の n 個のファイルを取り込みます。
   インジェストが完了するまで待たない	設定すると、インジェスト処理を監視せずに、取り込み用の blob をキューに挿入します。 設定されていない場合は、LightIngest は、取り込みが完了するまで取り込み状況のポーリングを続行します。
   選択した項目のみを表示する	コンテナー内のファイルを一覧表示しますが、取り込みません。

4. 完了を選択してソースタブに戻ります。

   1. 必要に応じて、 [ファイル フィルター] を選択して、特定のフォルダー パスまたは特定のファイル拡張子を持つファイルのみを取り込むためにデータをフィルター処理します。

      

      既定では、コンテナー内のいずれかのファイルがランダムに選択され、テーブルのスキーマを生成するために使用されます。

   2. 必要に応じて、[ スキーマ定義ファイル] で、使用するファイルを指定します。

5. テーブル列の構成を表示および編集するには、[Next: Schema]\(次へ: スキーマ\) を選択します。

スキーマ (データベースの構造や設計を定義するもの)

[スキーマ] タブには、データのプレビューが表示されます。

LightIngest コマンドを生成するには、 Next: Start Ingestion を選択します。

必要に応じて、次のことも行えます。

• ドロップダウン メニューから目的の形式を選択して自動的に推論されるData 形式を変更します。
• 自動的に推論される マップ名を変更します。 英数字とアンダースコアを使用できます。 スペース、特殊文字、ハイフンはサポートされません。
• 既存のテーブルを使用する場合、選択した形式とテーブル スキーマが一致する場合は、現在のテーブル スキーマを保持できます。
• [コマンド ビューアー] を選択し、入力から生成される自動コマンドを表示してコピーします。
• 列を編集します。 Partial データ プレビューで、列のドロップダウン メニューを選択して、テーブルのさまざまな側面を変更します。

テーブルに加えることができる変更は、次のパラメーターによって異なります。

• テーブルの種類が新規かまたは既存か
• マッピングの種類が新規かまたは既存か

取り込み

1. テーブル、マッピング、LightIngest コマンドに緑色のチェック マークが表示されたら、[生成されたコマンド] ボックスの右上にあるコピー アイコンを選択して、生成された LightIngest コマンドをコピーします。

   

   注記

   必要に応じて、LightIngest ツールをダウンロード ダウンロードを選択します。

2. インジェスト プロセスを完了するには、コピーしたコマンドを使用して LightIngest を実行する必要があります。

手順 1: パーティションの準備

1. 古いデータを保持するように保持ポリシーを調整します。 次の例では、テーブル MyTable のアイテム保持ポリシーを 10 年に設定します。

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. インジェスト後に再パーティション分割できるのはホット データのみであるため、再パーティション分割のためにすべてのデータがホット キャッシュに入るようにキャッシュ ポリシーを調整します。 次の例では、テーブル MyTable のキャッシュを 10 年に設定します。

   .alter table MyTable policy caching hot = 3650d
   

   重要

   キャッシュ ポリシーを増やすと、通常の操作よりもかなり多くのホット キャッシュが使用され、コストが増加する可能性があります。

手順 2: 再パーティションを開始する

1. Timestampという名前の列でデータを分割するパーティションポリシーを作成します。 次の例では、 テーブル MyTable のパーティション分割ポリシーを、 Timestampという名前の列でパーティション分割するように設定します。

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   パーティション分割ポリシーのプロパティの詳細については、「 パーティションのプロパティを参照してください。 インジェストの履歴については、次のプロパティを設定する方法が重要です。

   • 再パーティション分割をトリガーするには、 EffectiveDateTime プロパティをインジェストの開始より前の日付に設定します。
   • データが 1 日のバケットに再分割されるように、RangeSize を 1 日に設定します。 ただし、データに合わせてこの値を設定します。 たとえば、1 日に数 GB 未満のデータがある場合は、より大きな値を設定することを検討してください。
   • OverrideCreationTime を true に設定して、データを日バケットに再パーティション分割した後、エクステントにその日が作成時刻としてマークされるようにします。

2. マージ ポリシーを設定して、14 日より前のエクステントを含むすべてのエクステントのマージを許可します。 パーティショニングの再配置プロセスでは 14 日より古いエクステントが作成されるため、既定ではマージプロセスでそれらが除外されてしまいます。このため、このポリシーを設定します。

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. .show database extents partitioning statistics コマンドを使用して、パーティション分割の進行状況を監視します。 返された結果で、再パーティション分割しているテーブルを探し、 PartitionedRowPercentage 列を監視します。 PartitionedRowPercentage列の値が100されると、再パーティション分割が完了します。

手順 3: 再パーティション後のクリーンアップ

再パーティション分割が完了したら、前の手順で設定したポリシーをクリーンアップします。

1. パーティション分割ポリシーを削除します。

   .delete table MyTable policy partitioning
   

2. マージ ポリシーを削除します。

   .delete table MyTable policy merge
   

3. キャッシュ ポリシーを削除または設定します。

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. 保持期間ポリシーを削除または設定します。

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

関連するコンテンツ

• Azure Data Explorer 内のデータを照会する