Che cos'è la scalabilità automatica di Lakebase?

La scalabilità automatica di Lakebase Postgres è un database Postgres completamente gestito integrato nella piattaforma data intelligence di Databricks. Viene compilato per qualsiasi applicazione che richiede l'elaborazione delle transazioni online (OLTP) e la gestione dei dati a bassa latenza. Lakebase offre queste funzionalità al lakehouse, consentendo di creare applicazioni transazionali in tempo reale insieme ai carichi di lavoro di analisi.

La scalabilità automatica di Lakebase Postgres combina l'affidabilità e la familiarità di Postgres con funzionalità di database moderne, tra cui scalabilità automatica, scalabilità a zero, diramazione e ripristino istantaneo. Queste funzionalità consentono flussi di lavoro di sviluppo flessibili, operazioni efficienti in termini di costi e iterazione rapida.

Il diagramma mostra come Lakebase si integra con il resto della piattaforma: funzionalità in tempo reale per i modelli di Machine Learning e Feature Store, lo stato dell'agente per gli agenti di intelligenza artificiale e i dati transazionali per Databricks Apps o qualsiasi applicazione a cui ci si connette.

È possibile spostare i dati in entrambe le direzioni tra lakehouse e Lakebase. Le tabelle sincronizzate spostano i dati dal lakehouse a Lakebase in modo che le applicazioni possano eseguirne query a bassa latenza.

Esempi di casi d'uso e tipi di carico di lavoro

Di seguito sono riportati solo alcuni esempi dei molti modi in cui è possibile usare un database OLTP Postgres come Lakebase in tutti i settori: raccomandazioni personalizzate e offerta di destinazione in e-commerce e retail, dati clinici e sistemi di raccomandazione nel settore sanitario, trading automatizzato e analisi di streaming nei servizi finanziari e dati di telemetria e manutenzione dei computer nella produzione.

I tipi di carico di lavoro comuni per i database OLTP possono includere quanto segue:

• Gestione dei dati: Fornire informazioni dettagliate da tabelle dorate alle applicazioni a bassa latenza e QPS elevato.
• Archiviare lo stato dell'applicazione: Gestire lo stato del flusso di lavoro e dell'agente in un archivio dati transazionale.
• Funzionalità di gestione: Gestire i dati con funzionalità a bassa latenza ai modelli di Machine Learning.

Integrazione di Databricks

Il diagramma precedente evidenzia tre casi d'uso di integrazione chiave:

• Gestione delle funzionalità in tempo reale: Usare i progetti Lakebase come archivio online per modelli di Machine Learning e Feature Store, in modo da poter gestire i dati con funzionalità a bassa latenza. Vedi Online Feature Store (Lakebase) e Feature Serving.
• Stato dell'agente per gli agenti di intelligenza artificiale: Archiviare e gestire lo stato per gli agenti di intelligenza artificiale in un database transazionale, quindi le conversazioni e il contesto del flusso di lavoro vengono mantenuti tra le richieste.
• Dati transazionali per le applicazioni: Rendere persistenti i dati per le app databricks o per qualsiasi applicazione connettiti a Lakebase. Per Databricks Apps aggiungere un progetto Lakebase come risorsa dell'app. Vedere Aggiungere una risorsa Lakebase a un'app Databricks.

Lakebase Provvisto

Lakebase Provisioned è l'offerta Lakebase originale che utilizza risorse di calcolo assegnate che si ridimensionano manualmente. Le istanze esistenti con provisioning continueranno a essere supportate. Lo sviluppo di New Lakebase è incentrato sulla scalabilità automatica. Se si dispone di istanze di cui è stato effettuato il provisioning o si valutano entrambe le opzioni, vedere Che cos'è Il provisioning di Lakebase? e la scalabilità automatica per impostazione predefinita.

Che cos'è un progetto?

Le risorse di scalabilità automatica di Lakebase sono organizzate in una struttura di progetto . Un progetto è il contenitore di primo livello per le risorse del database. Quando si crea un database di scalabilità automatica di Lakebase, si crea un progetto. Il progetto contiene i rami (ambienti di database), i calcoli, i ruoli e i database. Si pensi a un progetto come l'unità dell'organizzazione per un'applicazione o un carico di lavoro. È possibile avere più progetti in un'area di lavoro, ognuno con rami e dati specifici.

Modalità di organizzazione dei progetti

Comprendere la gerarchia degli oggetti all'interno di un progetto consente di organizzare e gestire le risorse:

Databricks Workspace
  └── Project(s)
      └── Branch(es)
          ├── Compute (primary R/W)
          ├── Read replica(s) (optional)
          ├── Role(s)
          └── Database(s)
                 └── Schema(s)

Ogni livello della gerarchia ha uno scopo specifico:

Informazioni sui rami

Una delle funzionalità più potenti di Lakebase Postgres è la diramazione. Come i rami Git per il codice, i rami consentono di creare ambienti di database isolati per lo sviluppo e il test, senza influire sulla produzione.

Perché questo aspetto è importante: I flussi di lavoro di database tradizionali richiedono server di sviluppo e gestione temporanea separati, aggiornamenti manuali dei dati e un'attenta coordinamento. Con i rami è possibile:

• Creare immediatamente un ambiente di sviluppo con i dati di produzione
• Testare le modifiche dello schema in modo sicuro prima di applicarle all'ambiente di produzione
• Recupera dagli errori creando rami da qualsiasi momento nel tempo
• Pagate solo per i dati che modificate, non per interi database duplicati

Concetti principali

Lakebase si basa su diverse innovazioni chiave che la differenziano dai sistemi di database tradizionali:

• Calcolo e archiviazione separati: Ridimensionare le risorse di calcolo in modo indipendente dall'archiviazione per ottenere efficienza e flessibilità in termini di costi.
• Scalabilità automatica: Il calcolo si adatta automaticamente in base alla domanda del carico di lavoro, con il supporto per la scalabilità a zero durante i periodi di inattività.
• Archiviazione copy-on-write: Consente una rapida diramazione in cui si paga solo per le modifiche ai dati, non per copie complete.
• Operazioni istantanee puntuali: Crea rami o ripristina in qualsiasi momento nella finestra di ripristino configurata (0-30 giorni)

Questi concetti interagiscono per abilitare flussi di lavoro di sviluppo flessibili, operazioni efficienti in termini di costi e ripristino rapido da errori.

Per una spiegazione dettagliata di ogni concetto di base, vedere Concetti di base.