コンピューティング システム テーブル参照

この記事では、コンピューティング システム テーブルのリファレンス ガイドを提供します。 これらのテーブルを使用して、アカウント内の従来の汎用コンピューティング、ジョブ コンピューティング、および Lakeflow Spark 宣言パイプライン コンピューティングのアクティビティとメトリックを監視できます。 これらのクラシック コンピューティング テーブルには、次のものが含まれます。

• clusters: アカウントのコンピューティング構成を記録します。
• node_types: 現在使用可能なノードの種類ごとに、ハードウェア情報を含む 1 つのレコードが含まれます。
• node_timeline: コンピューティングの使用率メトリックの分単位のレコードが含まれます。
• instance_events: クラシック コンピューティング インスタンスの状態遷移をキャプチャします。
• instance_pools: アカウント内のインスタンス プールの構成を記録します。

クラスター テーブル スキーマ

クラスター テーブルは、時間の経過に伴うコンピューティング構成の完全な履歴を含む、緩やかに変化するディメンション テーブルです。このテーブルには、万能コンピューティング、ジョブ コンピューティング、Lakeflow Spark 宣言パイプライン コンピューティング、パイプライン メンテナンス コンピューティングが含まれています。

テーブル パス: このシステム テーブルは次の場所にあります。 system.compute.clusters

アクセスモードの参照

次の表は、 data_security_mode 列に含まれる使用可能な値を変換します。 この列は、特定のパイプラインとシステムによって作成されたクラスターに対して null することもできます。

従来のアクセス モードは、次の値で記録されます。

ノードの種類テーブルのスキーマ

ノードの種類テーブルは、現在使用可能なノードの種類とその基本的なハードウェア情報をキャプチャします。

テーブル パス: このシステム テーブルは、 system.compute.node_typesにあります。

ノード タイムライン テーブルのスキーマ

ノード タイムライン テーブルは、ノード レベルのリソース使用率データを分単位でキャプチャします。 各レコードには、インスタンスごとの特定の分のデータが含まれています。 この表では、アカウント内の汎用コンピューティング、ジョブ コンピューティング、Lakeflow Spark 宣言パイプライン コンピューティング、パイプライン メンテナンス コンピューティング リソースのノード タイムラインをキャプチャします。

テーブル パス: このシステム テーブルは、 system.compute.node_timelineにあります。

インスタンス イベント テーブル スキーマ

インスタンス イベント テーブルは、クラシック コンピューティング インスタンスの状態遷移をキャプチャします。 各行は、1 つのインスタンスの状態変更を表します。 このテーブルには、同じクラウド リージョン内にデプロイされたアカウント内のすべてのワークスペースからのすべての目的のコンピューティング、ジョブ コンピューティング、および Lakeflow Spark 宣言パイプライン コンピューティングのレコードが含まれています。

テーブル パス: このシステム テーブルは、 system.compute.instance_eventsにあります。

インスタンスの状態

• INSTANCE_LAUNCHING: インスタンスが初期化されています。
• INSTANCE_READY:インスタンスは完全に初期化され、使用できる状態ですが、現在は使用されていません。
• INSTANCE_PLACED: インスタンスは現在使用中です (クラスターに参加しています)。
• INSTANCE_TERMINATED: インスタンスが終了します。

cluster_idが設定されるタイミング

cluster_id フィールドは、インスタンスがINSTANCE_PLACED状態の場合にのみ設定されます。 その他のすべての状態 (INSTANCE_LAUNCHING、 INSTANCE_READY、 INSTANCE_TERMINATED) の場合、 cluster_id は null。 この動作は、プールされたインスタンスとプールされていないインスタンスの両方で一貫しています。

instance_events テーブルには、汎用、ジョブ、および Lakeflow Spark 宣言パイプライン コンピューティングの配置イベントのみが含まれます。 SQL ウェアハウスなどの他のワークロードの配置イベントは、この表には含まれません。

インスタンス プールのテーブル スキーマ

インスタンス プール テーブルは、時間の経過に伴うインスタンス プール構成の完全な履歴を含む、緩やかに変化するディメンション テーブルです。 構成が変更されると、新しい行が出力され、論理的に前の行が置き換えられます。

テーブル パス: このシステム テーブルは、 system.compute.instance_poolsにあります。

既知の制限事項

• 2023 年 10 月 23 日より前に削除済みのマークが付けられたコンピューティング リソースは、クラスター テーブルに表示されません。 これにより、system.billing.usage テーブルからの結合がクラスター テーブル内のレコードと一致しない場合があります。 すべてのアクティブなコンピューティング リソースはバックフィル済みです。
• これらのテーブルには、汎用とジョブのコンピューティングのレコードのみが含まれます。 サーバーレス コンピューティングまたは SQL ウェアハウスのレコードは含まれません。
• 実行時間が 10 分未満のノードは、node_timeline テーブルに表示されない場合があります。

サンプル クエリ

次のサンプル クエリを使用して、一般的な質問に回答できます。

• クラスター レコードを最新の課金レコードと結合する
• 平均使用率とピーク使用率が最も高いコンピューティング リソースを特定する
• 各インスタンス プールの最新バージョンを取得する
• インスタンスのアイドル時間とアクティブ時間を計算する

クラスター レコードを最新の課金レコードと結合する

このクエリは、時間の経過に伴う支出を理解するのに役立ちます。 usage_start_time を最新の請求期間に更新すると、クラスター データに参加するための課金レコードの最新の更新が取得されます。

各レコードは、その特定の実行中にクラスター所有者に関連付けられます。 そのため、クラスター所有者が変更された場合、コストはクラスターが使用された日時に基づいて適切な所有者にロールアップされます。

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

平均使用率とピーク使用率が最も高いコンピューティング リソースを特定する

平均 CPU 使用率が最も高く、ピーク時の CPU 使用率が最も高い、汎用とジョブのコンピューティングを特定します。

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

各インスタンス プールの最新バージョンを取得する

instance_pools テーブルは SCD2 型であり、既存のレコードを更新する代わりに、変更が行われるたびに新しいレコードが作成されます。 最新バージョンを取得するには、最大の change_timeでエントリを取得します。

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

インスタンスのアイドル時間とアクティブ時間を計算する

このクエリは、 instance_events テーブルからの状態遷移を使用して、各インスタンスの合計アイドル時間とアクティブ時間を計算します。

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;