Referência de tabelas do sistema de computação

Este artigo fornece um guia de referência para as tabelas do sistema de computação. Você pode usar essas tabelas para monitorar a atividade e as métricas da computação clássica de todos os fins, da computação de trabalhos e da computação do Lakeflow Spark Declarative Pipelines em sua conta. Estas tabelas de computação clássicas incluem:

• clusters: registra as configurações de computação em sua conta.
• node_types: inclui um só registro para cada um dos tipos de nó disponíveis no momento, incluindo informações de hardware.
• node_timeline: inclui registros minuto a minuto das métricas de utilização da computação.
• instance_events: captura transições de estado de instâncias de computação clássicas.
• instance_pools: registra as configurações do pool de instâncias em sua conta.

Esquema de tabela de cluster

A tabela de cluster é uma tabela de dimensão lentamente mutável que contém o histórico completo das configurações de computação ao longo do tempo para computação de uso geral, computação de trabalhos, computação do Lakeflow Spark Declarative Pipelines e computação de manutenção de pipeline.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.clusters

Referência do modo de acesso

A tabela a seguir converte os valores possíveis contidos na data_security_mode coluna. A coluna também pode ser null para determinados pipelines e clusters criados pelo sistema.

Os modos de acesso herdados são registrados com os seguintes valores:

Esquema de tabela de tipos de nó

A tabela de tipo de nó captura os tipos de nó disponíveis no momento com suas informações básicas de hardware.

Caminho da tabela: essa tabela do sistema está localizada em system.compute.node_types.

Esquema da tabela da linha do tempo do nó

A tabela de linha do tempo do nó captura dados de utilização de recursos no nível do nó com granularidade mínima. Cada registro contém dados para um determinado minuto de tempo por instância. Esta tabela captura cronogramas dos nós para a computação de uso geral, a computação de trabalhos, o Lakeflow Spark Declarative Pipelines e recursos de computação para manutenção de pipeline em sua conta.

Caminho da tabela: essa tabela do sistema está localizada em system.compute.node_timeline.

Esquema da tabela de eventos de instância

A tabela de eventos de instância captura transições de estado de instâncias de computação clássicas. Cada linha representa uma alteração de estado para uma única instância. Esta tabela inclui registros para computação de todas as finalidades, computação de trabalhos e computação do Lakeflow Spark Declarative Pipelines de todos os workspaces em sua conta implantados na mesma região de nuvem.

Caminho da tabela: essa tabela do sistema está localizada em system.compute.instance_events.

Estados de instância

• INSTANCE_LAUNCHING: a instância está sendo inicializada.
• INSTANCE_READY: a instância está totalmente inicializada e pronta para ser usada, mas não está em uso no momento.
• INSTANCE_PLACED: a instância está em uso no momento (ingressou em um cluster).
• INSTANCE_TERMINATED: a instância é encerrada.

Quando cluster_id é populado?

O cluster_id campo só é preenchido quando a instância está no INSTANCE_PLACED estado. Para todos os outros estados (INSTANCE_LAUNCHING, INSTANCE_READY, ), INSTANCE_TERMINATEDcluster_id é null. Esse comportamento é consistente para instâncias em pool e não em pool.

A instance_events tabela inclui apenas eventos de posicionamento para todos os fins, trabalhos e computação do Lakeflow Spark Declarative Pipelines. Eventos de posicionamento para outras cargas de trabalho, como sql warehouses, não estão incluídos nesta tabela.

Esquema de tabela de pools de instância

A tabela de pools de instância é uma tabela de dimensões de alteração lenta que contém o histórico completo de configurações do pool de instâncias ao longo do tempo. Quando uma configuração é alterada, uma nova linha é emitida, substituindo logicamente a anterior.

Caminho da tabela: essa tabela do sistema está localizada em system.compute.instance_pools.

Limitações conhecidas

• Os recursos de computação que foram marcados como excluídos antes de 23 de outubro de 2023 não aparecem na tabela de clusters. Isso pode resultar em junções da tabela system.billing.usage não correspondentes aos registros na tabela de clusters. Todos os recursos de computação ativos foram preenchidos.
• Essas tabelas incluem apenas registros para a Computação para Todas as Finalidades e a Computação de Trabalhos. Eles não contêm registros para computação sem servidor ou sql warehouses.
• Os nodes que rodaram por menos de 10 minutos podem não aparecer na tabela node_timeline.

Consultas de exemplo

Você pode usar as seguintes consultas de exemplo para responder a perguntas comuns:

• Junte os registros de cluster aos registros de faturamento mais recentes
• Identifique os recursos de computação com a maior utilização média e utilização de pico
• Obter a versão mais recente de cada pool de instâncias
• Calcular a instância ociosa e o tempo ativo

Unir registros de cluster com os registros de cobrança mais recentes

Essa consulta pode ajudá-lo a entender os gastos ao longo do tempo. Ao atualizar o usage_start_time para o período de cobrança mais atual, ele captura as atualizações mais recentes dos registros de cobrança para incorporar dados em clusters.

Cada registro é associado ao proprietário do cluster durante essa execução específica. Portanto, se o proprietário do cluster for alterado, os custos serão acumulados para o proprietário correto com base em quando o cluster foi usado.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identificar os recursos de computação com a maior utilização média e pico de utilização

Identifique a computação para todas as finalidades e trabalhos que têm a maior utilização média da CPU e o maior pico de utilização da CPU.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

Obter a versão mais recente de cada pool de instâncias

A instance_pools tabela é do tipo SCD2, em que, em vez de atualizar registros existentes, um novo registro é criado sempre que uma alteração é feita. Para obter a versão mais recente, use a entrada com a maior change_time.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

Calcular a instância ociosa e o tempo ativo

Essa consulta calcula o tempo ocioso total e o tempo ativo para cada instância usando transições de estado da instance_events tabela.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;