Aggiungere la fonte CDC di Azure SQL Managed Instance a un flusso di eventi

Questo articolo illustra come aggiungere un'origine Azure SQL Managed Instance Change Data Capture (CDC) a un flusso di eventi.

Il connettore di origine CDC per i flussi di eventi di Microsoft Fabric di Azure SQL Managed Instance consente di acquisire uno snapshot dei dati correnti in un database SQL Managed Instance. Il connettore monitora e registra poi eventuali modifiche future a livello di riga a questi dati. Dopo aver acquisito le modifiche nel flusso di eventi, è possibile elaborare questi dati CDC in tempo reale e inviarli a destinazioni diverse all'interno di Fabric per ulteriori elaborazioni o analisi.

Prerequisiti

• Accesso a un'area di lavoro in modalità licenza di capacità di Fabric o in modalità licenza di valutazione con permessi di Collaboratore o superiori.
• Database di Azure SQL Managed Instance in esecuzione.
• Il Azure SQL Managed Instance deve abilitare l'endpoint pubblico e non essere protetto da un firewall o protetto in una rete virtuale. Se non abilita l'endpoint pubblico e si trova in una rete protetta, connettersi tramite l'iniezione della rete virtuale tramite connettore Eventstream.
• CDC abilitato nell'Azure SQL Managed Instance eseguendo la stored procedure sys.sp_cdc_enable_db. Per ulteriori informazioni, consultare Abilitare e disabilitare Change Data Capture.

Abilitare l'endpoint pubblico nell'istanza gestita di Azure SQL

Passare al portale di Azure, aprire l'istanza gestita di Azure SQL, selezionare Rete e abilitare l'endpoint pubblico.

Abilitare CDC nell'istanza gestita di Azure SQL

1. Abilitare CDC per il database.

   EXEC sys.sp_cdc_enable_db; 
   

2. Abilitare CDC per una tabella usando un'opzione di controllo del ruolo. In questo esempio è MyTable il nome della tabella SQL.

   EXEC sys.sp_cdc_enable_table 
      @source_schema = N'dbo', 
      @source_name   = N'MyTable', 
      @role_name     = NULL 
   GO 
   

   Dopo l'esecuzione della query, è stato abilitato CDC nell'istanza gestita di Azure SQL.

   

Aggiungere Azure SQL Managed Instance CDC come origine

Se non è ancora stata aggiunta alcuna origine al flusso di eventi, selezionare il riquadro Connetti origini dati . È anche possibile selezionare Aggiungi origine>Connetti origini dati sulla barra multifunzione.

Se stai aggiungendo la sorgente a un flusso di eventi già pubblicato, passa alla modalità Modifica. Sulla barra multifunzione selezionare Aggiungi origine>Connetti origini dati.

Nella pagina Seleziona un'origine dati cerca e seleziona Connect nel riquadro Azure SQL MI Database (DB) Change Data Capture (CDC).

Configurare e connettersi a Azure SQL Managed Instance CDC

Inserire i dati delle modifiche da Azure SQL Managed Instance database con registrazione automatica dello schema di tabella tramite CDC in Eventstream.

1. Nella pagina Connetti, seleziona Nuova connessione.

   

2. Nella sezione Impostazioni di connessione immettere i valori seguenti per il Azure SQL Managed Instance:

   • Server: Immettere l'endpoint dal portale di Azure, sostituendo la virgola tra l'host e la porta con due punti. Ad esempio, se l'endpoint è xxxxx.public.xxxxxx.database.windows.net,3342, è necessario immettere xxxxx.public.xxxxxx.database.windows.net:3342 nel campo Server .

     

   • Database: Immettere il nome del database a cui connettersi all'interno del Azure SQL Managed Instance.

     

3. Scorrere verso il basso e nella Sezione connessione seguire questa procedura.

   • Per Nome connessione, immetti un nome per la connessione.

   • Per Tipo di autenticazione selezionare Base.

     Nota

     Attualmente Fabric Eventstream supporta solo l'autenticazione Basic.

   • Immettere Username e Password per il Azure SQL Managed Instance.

4. Selezionare Connetti nella parte inferiore della pagina.

5. Nella pagina Connetti selezionare Tutte le tabelle o Immettere i nomi della tabella. Se si seleziona quest'ultimo, specificare le tabelle usando un elenco delimitato da virgole di identificatori di tabella completi (schemaName.tableName) o espressioni regolari valide. Per esempio:

   • Usare dbo.test.* per selezionare tutte le tabelle i cui nomi iniziano con dbo.test.
   • Usare dbo\.(test1|test2) per selezionare dbo.test1 e dbo.test2.

   È possibile combinare entrambi i formati nell'elenco. Il limite di caratteri totale per l'intera voce è di 102.400 caratteri.

6. Espandere Impostazioni avanzate per configurare la modalità di gestione decimale, che specifica il modo in cui il connettore gestisce DECIMAL e NUMERIC i valori delle colonne:

   • Precise: rappresenta i valori usando tipi decimali esatti (ad esempio, Java BigDecimal) per garantire la precisione completa e l'accuratezza nella rappresentazione dei dati.
   • Double: converte i valori in numeri a virgola mobile e precisione doppia. Questa opzione migliora l'usabilità e le prestazioni, ma potrebbe comportare una perdita di precisione.
   • String: codifica i valori come stringhe formattate. Questa opzione semplifica l'utilizzo nei sistemi downstream, ma perde informazioni semantiche sul tipo numerico originale.

Dettagli del flusso o della sorgente

1. Nella pagina Connetti seguire uno di questi passaggi in base al fatto che si usi Eventstream o Real-Time hub.

   • Eventstream:

     Nel riquadro Dettagli origine a destra seguire questa procedura:

     1. In Nome origine selezionare il pulsante Matita per modificare il nome.

     2. Si noti che il Nome Eventstream e il Nome del flusso sono di sola lettura.

   • Hub in tempo reale:

     Nella sezione Dettagli flusso a destra seguire questa procedura:

     1. Selezionare l'area di lavoro Fabric in cui si vuole creare il flusso di eventi.

     2. Per Nome flusso di eventi, selezionare il pulsante Matita e immettere un nome per il flusso di eventi.

     3. Il valore del nome stream viene generato automaticamente aggiungendo -stream al nome del flusso di eventi. Questo flusso viene visualizzato nella pagina Tutti i flussi di dati dell'hub in tempo reale al termine della procedura guidata.

2. Selezionare Avanti nella parte inferiore della pagina Configura .

Rivedere e connettere

Nella schermata Rivedi e connetti esaminare il riepilogo e selezionare Aggiungi (Eventstream) o Connetti ( hubReal-Time).

Pagina di gestione dello schema

1. Nel passaggio Gestione schema scegliere una delle opzioni seguenti:

   • Eventi pronti per l'analisi e schema aggiornato automaticamente (Anteprima DeltaFlow): il connettore trasforma gli eventi CDC non elaborati in flussi pronti per l'analisi che rispecchiano la struttura della tabella di origine. DeltaFlow arricchisce gli eventi con metadati quali il tipo di modifica (inserimento, aggiornamento o eliminazione) e i timestamp e gestisce automaticamente le tabelle di destinazione e l'evoluzione dello schema.
   • Eventi CDC non elaborati: il connettore inserisce e rende disponibili gli eventi CDC non elaborati. Facoltativamente, il connettore può individuare automaticamente gli schemi di tabella e registrarli nel Registro di sistema dello schema. Usare questa opzione quando si vuole conoscere lo schema senza trasformazione DeltaFlow.

   Nota

   Lo screenshot seguente mostra Azure SQL Database CDC. Le opzioni di gestione dello schema sono le stesse per tutti i connettori di origine CDC supportati.

   

2. Abilitare l'associazione dello schema di eventi.

3. Per Workspace selezionare un'area di lavoro Fabric per il set di schemi.

4. Per Set di schemi, + Crea è selezionato per impostazione predefinita, che crea un nuovo set di schemi. È possibile modificarlo per selezionare un set di schemi eventi esistente.

5. Se è stata selezionata l'opzione + Crea nel passaggio precedente, immettere un nome per il set di schemi.

6. Nella pagina Rivedi e connetti esaminare il riepilogo e quindi selezionare Aggiungi (Eventstream) o Connetti (Real-Time hub).

   

   Per tutte le tabelle o le tabelle selezionate nel database Azure SQL Managed Instance, il connettore rileva automaticamente e crea schemi e li registra nel Registro di sistema dello schema.

DeltaFlow: trasformazione di eventi pronta per l'analisi (anteprima)

Quando si abilitano gli eventi pronti per Analytics e lo schema aggiornato automaticamente (DeltaFlow), il connettore offre le funzionalità seguenti:

• Forma evento pronta per l'analisi: gli eventi Raw Debezium CDC vengono trasformati in un formato tabulare che rispecchia la struttura della tabella di origine. Gli eventi vengono arricchiti con colonne di metadati, inclusi il tipo di modifica (insert, updateo delete) e il timestamp dell'evento.
• Gestione automatica delle tabelle di destinazione: quando si instradano flussi abilitati per DeltaFlow a una destinazione supportata come una eventhouse, le tabelle di destinazione vengono create automaticamente in modo che corrispondano allo schema della tabella di origine. Non è necessario creare o configurare manualmente le tabelle di destinazione.
• Gestione dell'evoluzione dello schema: quando le tabelle del database di origine cambiano (ad esempio, vengono aggiunte nuove colonne o vengono create tabelle), DeltaFlow rileva automaticamente le modifiche, aggiorna gli schemi registrati e modifica le tabelle di destinazione di conseguenza. Questa opzione riduce al minimo l'intervento manuale causato dalle modifiche dello schema.

Per informazioni dettagliate su come DeltaFlow trasforma gli eventi CDC non elaborati in output pronto per l'analisi, inclusi i tipi di operazione e le colonne di metadati, vedere Trasformazione dell'output DeltaFlow.

Visualizzare il flusso di eventi aggiornato

È possibile visualizzare l'origine Azure SQL MI DB (CDC) aggiunta al flusso di eventi in modalità Edit.

Per implementare l'origine Azure SQL Managed Instance appena aggiunta, selezionare Publish. Dopo aver completato questi passaggi, l'istanza di origine di Azure SQL Managed Instance è disponibile per la visualizzazione in Live view.

Configurare le destinazioni Eventstream per l'uso degli schemi

Attualmente, solo la eventhouse, l'endpoint personalizzato e le destinazioni di flusso derivate sono supportate per gli eventi con schemi associati. Questa sezione illustra come aggiungere e configurare una destinazione Eventhouse quando le funzionalità estese (ad esempio il supporto dello schema) sono abilitate per il flusso di eventi.

Configurare uno schema per una destinazione endpoint personalizzata

1. Selezionare Trasforma eventi o aggiungi destinazione e quindi selezionare CustomEndpoint.

2. Nel riquadro Endpoint personalizzato specificare un nome per la destinazione.

3. In Schema di input selezionare lo schema per gli eventi. Quando si abilita il supporto dello schema per un flusso di eventi, effettuare una selezione in questa casella.

Per informazioni dettagliate sulla configurazione di una destinazione endpoint personalizzata, vedere Aggiungere un endpoint personalizzato o una destinazione app personalizzata a un flusso di eventi.

Configurare gli schemi per una destinazione casa degli eventi

1. Selezionare Trasforma eventi o aggiungi destinazione e quindi selezionare Eventhouse(Casa eventi).

2. Nel riquadro Eventhouse configurare le impostazioni correlate allo schema seguenti:

   1. Per Schema di input selezionare uno o più schemi dall'elenco a discesa.

      

      Nota

      Se è stata selezionata l'opzione Schema dinamico tramite intestazioni durante la configurazione di un'origine di Hub eventi, potrebbero essere stati configurati più schemi per l'origine e ne è stato eseguito il mapping a varie proprietà e ai relativi valori.

   2. Per Metodo di creazione tabella selezionare Una singola tabella con tutti gli schemi combinati o Tabelle separate per ogni schema, a seconda dei requisiti.

      

   3. Per Scrivere dati con, selezionare una delle opzioni seguenti:

      • Solo payload: scrivere i dati del payload estratti nella tabella. Se sono presenti più schemi di input, i dati vengono inviati a più tabelle.
      • Metadati e payload: scrivere metadati e dati di payload in una singola tabella. Le colonne di esempio includono source , subjecttype, e data.

      

Per i passaggi dettagliati sulla configurazione di una destinazione dell'evento, vedere Aggiungere una destinazione eventhouse a un flusso di eventi.

Visualizzare l'output pronto per l'analisi DeltaFlow (anteprima)

Se sono stati abilitati gli eventi pronti per l'analisi e lo schema aggiornato automaticamente (DeltaFlow), le tabelle di destinazione vengono create automaticamente in una forma che rispecchia le tabelle del database di origine. Ogni tabella include le colonne originali insieme alle colonne di metadati per il tipo di modifica e il timestamp.

È possibile eseguire query su queste tabelle usando KQL (Kusto Query Language) o altri strumenti di analisi senza dover analizzare i payload di Debezium CDC non elaborati.

Contenuto correlato

Altri connettori:

• Flussi di dati Amazon Kinesis
• Azure Cosmos DB
• Hub eventi di Azure
• Hub IoT di Azure
• Change Data Capture (CDC) nel Database SQL di Azure
• Confluent Kafka
• Endpoint personalizzato
• Google Cloud Pub/Sub
• Database PostgreSQL CDC
• Dati di esempio
• gli eventi di Azure Blob Storage
• Evento dell'area di lavoro Fabric