Del via

Add Azure SQL Managed Instance CDC source to an eventstream

Denne artikel viser dig, hvordan du tilføjer en Azure SQL Managed Instance Change Data Capture (CDC)-kilde til en eventstream.

Azure SQL Managed Instance CDC source connector til Microsoft Fabric event streams gør det muligt at tage et øjebliksbillede af de aktuelle data i en SQL Managed Instance-database. Connectoren overvåger og registrerer derefter eventuelle fremtidige ændringer af disse data på rækkeniveau. Når ændringerne er fanget i eventstreamen, kan du behandle disse CDC-data i realtid og sende dem til forskellige destinationer inden for Fabric for yderligere behandling eller analyse.

Bemærk

Med DeltaFlow (Preview) kan du transformere rå Debezium CDC-begivenheder til analyseklare strømme, der spejler din kildetabelstruktur. DeltaFlow automatiserer skemaregistrering, håndtering af destinationstabeller og håndtering af skemaudvikling. For at bruge DeltaFlow vælg Analytics-klar events og automatisk opdateret skema under skemahåndteringstrinnet.

Forudsætninger

  • Adgang til et arbejdsområde i Fabric-kapacitetslicenstilstand (eller) prøvelicenstilstand med Contributor- eller højere tilladelser.
  • En kørende Azure SQL Managed Instance-database.
  • Din Azure SQL Managed Instance bør aktivere offentlig endpoint og ikke være bag en firewall eller sikret i et virtuelt netværk. Hvis den ikke aktiverer offentlig endpoint og er i et beskyttet netværk, så forbind til den ved at bruge Eventstream connector virtual network injection.
  • CDC aktiveret i din Azure SQL Managed Instance ved at køre stored procedure sys.sp_cdc_enable_db. Du kan finde flere oplysninger under Aktivér og deaktiver ændring af datahentning.

Enable public endpoint i din Azure SQL managed instance

Gå til Azure-portalen, åbn din Azure SQL administrerede instans, vælg Networking, og aktivér offentlig endpoint.

Skærmbillede, der viser netværkssiden med indstillingen Offentligt slutpunkt aktiveret.

Aktiver CDC i din Azure SQL managed instance

  1. Aktivér CDC for databasen.

    EXEC sys.sp_cdc_enable_db;

  2. Aktivér CDC for en tabel ved hjælp af en gatingrolleindstilling. I dette eksempel MyTable er navnet på SQL-tabellen.

    EXEC sys.sp_cdc_enable_table 
   @source_schema = N'dbo', 
   @source_name   = N'MyTable', 
   @role_name     = NULL 
GO

    Efter forespørgslen er udført med succes, aktiverede du CDC i din Azure SQL-administrerede instans.

    Et screenshot, der viser CDC aktiveret.

Add Azure SQL Managed Instance CDC som kildekode

Hvis du endnu ikke har tilføjet nogen kilde til din eventstream, vælg flisen Connect data sources . Du kan også vælge Tilføj kilde>Connect datakilder på båndet.

Skærmbillede, der viser valget af flisen til brug af en ekstern kilde.

Hvis du tilføjer kildekoden til en allerede offentliggjort eventstream, så skift til Rediger-tilstand . På båndet skal du vælge Tilføj kilde>Forbind datakilder.

Skærmbillede, der viser valg til tilføjelse af eksterne kilder.

På siden Vælg en datakilde søg efter og vælg Connect på Azure SQL MI Database (DB) Change Data Capture (CDC)-flisen.

Konfigurér og forbind til Azure SQL Managed Instance CDC

Indtag ændringsdata fra Azure SQL Managed Instance-databaser med automatisk tabelskemaregistrering via CDC til Eventstream.

Bemærk

DeltaFlow (Forhåndsvisning): Når du vælger Analytics-klar events og automatisk opdateret skema i skemahåndteringstrinnet, omdanner DeltaFlow rå Debezium CDC-begivenheder til analytics-klare streams, der spejler din kildetabelstruktur. DeltaFlow automatiserer også oprettelse af destinationstabeller og håndtering af skemaudvikling.

  1. Vælg Ny forbindelse på siden Opret forbindelse.

    Skærmbillede, der viser valget af linket Ny forbindelse på siden Opret forbindelse.

  2. I afsnittet Forbindelsesindstillinger indtaster du følgende værdier for din Azure SQL Managed Instance:

    • Server: Indtast endepunktet fra Azure-portalen og erstatter kommaet mellem vært og port med et kolon. Hvis slutpunktet f.eks. er xxxxx.public.xxxxxx.database.windows.net,3342, skal du angive xxxxx.public.xxxxxx.database.windows.net:3342 i feltet Server .

      Skærmbillede, der viser siden Netværk med slutpunktsoplysninger.

    • Database: Indtast navnet på den database, du vil forbinde til, i din Azure SQL Managed Instance.

      Skærmbillede, der viser afsnittet Forbindelsesindstillinger på siden Opret forbindelse.

  3. Rul ned, og følg disse trin i afsnittet Legitimationsoplysninger for forbindelse.

    • Angiv et navn til forbindelsen som Forbindelsesnavn.

    • Vælg Grundlæggende som Godkendelsestype.

      Bemærk

      I øjeblikket understøtter Fabric Eventstream kun Basic autentificering.

    • Indtast Brugernavn og Password for Azure SQL Managed Instance.

  4. Vælg Opret forbindelse nederst på siden.

  5. På siden Opret forbindelse skal du nu vælge Alle tabeller eller Angiv tabelnavne. Hvis du vælger sidstnævnte, skal du angive tabeller ved hjælp af en kommasepareret liste over komplette tabel-id'er (schemaName.tableName) eller gyldige regulære udtryk. Det kan f.eks. være:

    • Brug dbo.test.* til at vælge alle tabeller, hvis navne starter med dbo.test.
    • Brug dbo\.(test1|test2) til at vælge dbo.test1 og dbo.test2.

    Du kan kombinere begge formater på listen. Den samlede tegngrænse for hele posten er 102.400 tegn.

  6. Udvid avancerede indstillinger for at konfigurere Decimal-håndteringstilstanden, som specificerer, hvordan forbindelsen håndterer DECIMAL og NUMERIC kolonneværdier:

    • Precise: Repræsenterer værdier ved brug af eksakte decimaltyper (for eksempel Java BigDecimal) for at sikre fuld præcision og nøjagtighed i datarepræsentationen.
    • Double: Konverterer værdier til flydende tal med dobbelt præcision. Denne mulighed forbedrer brugervenlighed og ydeevne, men kan resultere i tab af præcision.
    • String: Koder værdier som formaterede strenge. Denne mulighed gør dem nemme at forbruge i downstream-systemer, men mister semantisk information om den oprindelige numeriske type.

Strøm- eller kildedetaljer

  1. På Connect-siden følger du et af disse trin afhængigt af, om du bruger Eventstream eller Real-Time hub.

    • Eventstream:

      I kilde-detaljepanelet til højre følger du disse trin:

      1. For Kildenavn skal du vælge Pencil-knappen for at ændre navnet.

      2. Bemærk, at Eventstream-navnet og Stream-navnet er skrivebeskyttet.

    • Real-Time hub:

      I afsnittet Stream Details til højre følger du disse trin:

      1. Vælg Fabric workspace hvor du vil oprette eventstreamen.

      2. For Eventstream-navn, vælg Pencil-knappen og indtast et navn til eventstreamen.

      3. Værdien Stream-navn genereres automatisk for dig ved at tilføje -stream til navnet på eventstreamen. Denne strøm vises på realtidshubbens side for alle datastrømme, når guiden er færdig.

  2. Vælg Næste nederst på siden Konfigurér .

Gennemgå og forbind

På skærmen Gennemgå + forbind , gennemgå oversigten, og vælg Tilføj (Eventstream) eller Forbind (Real-Time hub).

Skemahåndteringsside

  1. I Skemahåndteringstrinnet vælger du en af følgende muligheder:

    • Analyseklare begivenheder og automatisk opdateret skema (DeltaFlow Preview): Connectoren omdanner rå CDC-hændelser til analyseklare strømme, der spejler din kildetabelstruktur. DeltaFlow beriger begivenheder med metadata såsom ændringstype (indsæt, opdatering eller slet) og tidsstempler, og håndterer automatisk destinationstabeller og skemaudvikling.
    • Rå CDC-begivenheder: Connectoren indlæser og gør de rå CDC-begivenheder tilgængelige. Eventuelt kan connectoren automatisk opdage tabelskemaer og registrere dem i skemaregistret. Brug denne mulighed, når du ønsker skemabevidsthed uden DeltaFlow-transformation.

    Bemærk

    Følgende skærmbillede viser Azure SQL Database CDC. Skemahåndteringsmulighederne er de samme for alle understøttede CDC-kildestik.

    Skærmbillede, der viser skemahåndteringstrinnet med DeltaFlow og rå CDC-hændelsesmuligheder for en CDC-kildekonnektor.

  2. Aktivér tilknytning af hændelsesskema.

  3. For Workspace vælg et Fabric workspace til skemasættet.

  4. For Skemasæt er + Opret valgt som standard, hvilket opretter et nyt skemasæt. Du kan ændre den for at vælge et eksisterende hændelsesskemasæt.

  5. Hvis du har valgt indstillingen + Opret i forrige trin, skal du angive et navn til skemasættet.

  6. På siden Review + connect gennemgår du resuméet, og vælger derefter Add (Eventstream) eller Connect (Real-Time hub).

    Skærmbillede, der viser valget af knappen Tilføj.

    For alle tabeller eller udvalgte tabeller i Azure SQL Managed Instance-databasen opdager og opretter connectoren automatisk skemaer og registrerer dem i skemaregistryet.

DeltaFlow: Analytics-klar eventtransformation (Forhåndsvisning)

Når du aktiverer Analytics-klare begivenheder og automatisk opdateret skema (DeltaFlow), tilbyder connectoren følgende funktioner:

  • Analyseklar hændelsesform: Rå Debezium CDC-begivenheder omdannes til et tabelformat, der spejler kildetabelstrukturen. Begivenheder beriges med metadatakolonner, herunder ændringstypen (insert, update, eller delete) og begivenhedstidsstempelet.
  • Automatisk destinationstabshåndtering: Når du ruter DeltaFlow-aktiverede strømme til en understøttet destination som et eventhouse, oprettes destinationstabeller automatisk for at matche kildetabelskemaet. Du behøver ikke manuelt at oprette eller konfigurere destinationstabeller.
  • Håndtering af skemaudvikling: Når kildedatabasetabeller ændres (for eksempel tilføjes nye kolonner eller tabeller oprettes), opdager DeltaFlow automatisk ændringerne, opdaterer de registrerede skemaer og justerer destinationstabellerne derefter. Denne mulighed minimerer manuel indgriben forårsaget af skemaændringer.

Bemærk

DeltaFlow (Preview) understøttes i øjeblikket med Azure SQL Database CDC, Azure SQL Managed Instance CDC, SQL Server på VM CDC og PostgreSQL CDC kildekode-connectorer.

For detaljer om, hvordan DeltaFlow omdanner rå CDC-hændelser til analyseklar output, inklusive operationstyper og metadatakolonner, se DeltaFlow outputtransformation.

Vis opdateret hændelsesstream

Du kan se den Azure SQL MI DB (CDC) kilde tilføjet til din eventstream i Edit tilstand.

Et screenshot af den tilføjede Azure SQL MI DB CDC-kilde i Redigeringstilstand med udvidede funktioner.

For at implementere denne nytilføjede Azure SQL Managed Instance kilde, vælg Publicish. Når du har gennemført disse trin, er din Azure SQL Managed Instance kilde tilgængelig til visualisering i Live view.

Et screenshot af den tilføjede Azure SQL MI DB CDC-kilde i Live view-tilstand med udvidede funktioner.

Konfigurer Eventstream-destinationer til at bruge skemaer

I øjeblikket understøttes kun Eventhouse, brugerdefineret endpoint og afledte strømdestinationer for Eventstreams med tilhørende skemaer. Dette afsnit viser, hvordan du tilføjer og konfigurerer en Eventhouse-destination, når udvidede funktioner (f.eks. understøttelse af skemaer) er aktiveret for eventstream.

Bemærk

Når du bruger DeltaFlow (Preview) med en understøttet Change Data Capture (CDC)-kilde, oprettes og administreres destinationstabellerne i Eventhouse automatisk, så de matcher kildetabelstrukturen. Du behøver ikke manuelt konfigurere destinationstabellens skema. DeltaFlow håndterer også automatisk skemaudvikling, når kildetabeller ændres.

Konfigurer et skema til en brugerdefineret endpoint-destination

  1. Vælg Transformér begivenheder eller tilføj destination, og vælg derefter CustomEndpoint.

  2. I panelet Brugerdefineret endpoint skal du angive et navn til destinationen.

  3. Vælg skemaet for hændelser under Inputskema. Du vælger i denne boks, når du aktiverer skema-understøttelse for en eventstream.

Skærmbillede, der viser panelet til konfiguration af et brugerdefineret endpoint.

Du kan finde detaljerede trin til konfiguration af en brugerdefineret slutpunktsdestination under Føj et brugerdefineret slutpunkt eller en brugerdefineret appdestination til en eventstream.

Konfigurere skemaer for en eventhouse-destination

  1. Vælg Transformér begivenheder, eller tilføj destination, og vælg derefter Eventhouse.

  2. På Eventhouse-panelet konfigurerer du følgende skema-relaterede indstillinger:

    1. For Input-skema skal du vælge et eller flere skemaer fra rullemenuen.

      Skærmbillede, der viser eventhouse-konfigurationspanelet med et inputskema valgt.

      Bemærk

      Hvis du valgte muligheden Dynamisk skema via headers , når du konfigurerede en Event Hubs-kilde, kunne det være, du havde konfigureret flere skemaer for kilden og kortlagt dem til forskellige egenskaber og deres værdier.

    2. For tabeloprettelsesmetoden vælg En enkelt tabel med alle skemaer kombineret eller separate tabeller for hvert skema, afhængigt af dine krav.

      Skærmbillede, der viser eventhouse-konfigurationspanelet med tabeloprettelsesmetoder.

    3. Vælg en af følgende indstillinger for Skriv data med:

      • Kun nyttelast: Skriv udtrukket nyttelastdata til tabellen. Hvis der er flere inputskemaer, sendes data til flere tabeller.
      • Metadata og nyttedata: Skriv metadata og data til data til en enkelt tabel. Eksempelkolonner inkluderer source , subject, , typeog data.

      Skærmbillede, der viser eventhouse-konfigurationspanelet med muligheder for at skrive data.

For detaljerede trin til at konfigurere en eventhouse-destination, se Tilføj en eventhouse-destination til en eventstream.

Se DeltaFlow analytics-klar output (Forhåndsvisning)

Hvis du har aktiveret Analytics-klare events og auto-opdateret skema (DeltaFlow), bliver destinationstabellerne automatisk oprettet i en form, der spejler dine kildedatabasetabeller. Hver tabel indeholder de oprindelige kolonner sammen med metadatakolonner for ændringstype og tidsstempel.

Bemærk

Følgende skærmbillede viser Azure SQL Database CDC. Outputtabelen til DeltaFlow er den samme for alle understøttede CDC-kildestik.

Skærmbillede, der viser Eventhouse-destinationstabellerne oprettet af DeltaFlow i analyseklar form.

Du kan forespørge disse tabeller ved hjælp af Kusto Query Language (KQL) eller andre analyseværktøjer uden at skulle analysere rå Debezium CDC-payloads.

Relateret indhold

Andre connectors:

  • Last updated on