Disponibilizar dados do lakehouse

Sincroniza uma tabela do Unity Catalog no Postgres e consulta juntamente com os teus dados operacionais.

Passos: (1) Criar dados analíticos → (2) Sincronizar com o Lakebase → (3) Encontrar os seus dados no Postgres → (4) Consultar em ambos os mundos

Note

Isto é um início rápido. Para documentação completa, consulte Tabelas de Sincronização.

Antes de começar

  • Certifica-te de que concluíste Obter uma base de dados Postgres. Precisas de um projeto Lakebase com dados de exemplo.
  • Um armazém SQL ou caderno para consultas do Catálogo Unity.
  • USE_SCHEMA e CREATE_TABLE no esquema onde vais criar a tabela sincronizada.

Passo 1: Criar dados analíticos no Unity Catalog

Imagine que a sua equipa de dados criou pontuações de segmentação dos utilizadores no lakehouse. Em produção, isto seria uma tabela de ouro, saída de ML ou conjunto de dados enriquecido. Para este guia, vais criar uma pequena amostra.

Num armazém SQL ou caderno, execute:

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1, 'power_user', 0.92),
  (2, 'casual', 0.35),
  (3, 'power_user', 0.88)
AS segments(user_id, segment, engagement_score);

Repare que os user_id valores correspondem à id coluna da sua playing_with_lakebase tabela desde o início. Isso é intencional. Vais juntar-te a eles no Passo 4.

Saiba mais: Tipos de fonte suportados

Passo 2: Sincronizar a tabela com o Lakebase

No Explorador de Catálogos, navegue até à sua user_segments tabela e crie uma tabela sincronizada a partir dela. Escolha a base de dados do seu projeto Lakebase como destino e Snapshot como modo de sincronização. O snapshot copia os dados uma vez, que é a opção mais simples para começar.

A sincronização corre automaticamente. Quando termina, aparece uma nova tabela de apenas leitura na sua base de dados Lakebase. O nome do esquema do Unity Catalog torna-se o nome do esquema Postgres, e o nome da tabela recebe um _synced sufixo: default.user_segments_synced.

Saiba mais: Criar uma tabela sincronizada (procedimento completo) | Modos de sincronização

Passo 3: Encontre os seus dados no Postgres

Muda para o Lakebase SQL Editor. Os dados analíticos do Unity Catalog agora podem ser consultados com o Standard Postgres SQL. Procure o utilizador 1:

SELECT * FROM "default".user_segments_synced WHERE user_id = 1;

Note

default deve ser citado porque é uma palavra-chave reservada do PostgreSQL. O esquema da tabela sincronizada herda o nome do esquema do Unity Catalog, por isso, se o seu esquema for nomeado default, deve sempre citá-lo nas consultas.

Deverá ver o utilizador 1 com o segmento power_user e uma pontuação de envolvimento de 0.92. Esta é a mesma linha que criaste no Unity Catalog, agora disponível no Postgres com leituras de baixa latência.

Saiba mais: Mapeamento de tipos de dados

Passo 4: Consulta nos dois mundos

Aqui está a recompensa. A sua playing_with_lakebase tabela tem dados operacionais. A sua tabela user_segments_synced tem análise de lakehouse. Junte-se a eles:

SELECT
  p.id,
  p.name,
  p.value,
  s.segment,
  s.engagement_score
FROM playing_with_lakebase p
JOIN "default".user_segments_synced s ON p.id = s.user_id;

A sua aplicação pode agora disponibilizar dados enriquecidos. Uma única consulta ao Postgres combina o que a aplicação conhece (nomes, valores) com o que o lakehouse calculou (segmentos, scores). Sem chamadas API para o lakehouse, sem scripts de sincronização, sem penalização de latência.

Saiba mais: Planeamento de capacidade

Passos seguintes

  • Last updated on