Add Azure SQL Managed Instance CDC source to an eventstream

Tässä artikkelissa näytetään, miten Azure SQL Managed Instance Change Data Capture (CDC) -lähdekoodi lisätään tapahtumavirtaan.

Azure SQL Managed Instance CDC Source Connector for Microsoft Fabric event streams mahdollistaa tilannekuvan ottamisen nykyisestä datasta SQL Managed Instance -tietokannassa. Liitin valvoo ja kirjaa mahdolliset tulevat rivitason muutokset näihin tietoihin. Kun muutokset on tallennettu tapahtumavirtaan, voit käsitellä CDC:n dataa reaaliajassa ja lähettää sen eri kohteisiin Fabric-sivustolla jatkokäsittelyä tai analysointia varten.

Edellytykset

• Pääsy työtilaan Fabric-kapasiteetin lisenssitilassa (tai) kokeilulisenssitilassa, jossa on Contributor tai korkeammat oikeudet.
• Käynnissä oleva Azure SQL Managed Instance -tietokanta.
• Azure SQL Managed Instance -palvelimesi tulisi mahdollistaa julkisen päätepisteen eikä olla palomuurin takana tai suojattu virtuaaliverkossa. Jos se ei ota julkista päätepistettä käyttöön ja on suojatussa verkossa, yhdistä siihen käyttämällä Eventstream-liitännän virtuaaliverkkoinjektiota.
• CDC ottaa käyttöön Azure SQL Managed Instance suorittamalla tallennettu menettely sys.sp_cdc_enable_db. Lisätietoja on kohdassa Ota tietokaappaus käyttöön ja poista se käytöstä.

Ota julkinen päätepiste käyttöön Azure SQL:n hallitussa instanssissasi

Mene Azure-portaaliin, avaa Azure SQL hallittu instanssi, valitse Networking ja ota julkinen päätepiste käyttöön.

Ota CDC käyttöön Azure SQL:n hallitussa instanssissasi

1. Ota CDC käyttöön tietokannalle.

   EXEC sys.sp_cdc_enable_db; 
   

2. Ota CDC käyttöön taulukolle gating-roolivaihtoehdon avulla. Tässä esimerkissä MyTable on SQL-taulukon nimi.

   EXEC sys.sp_cdc_enable_table 
      @source_schema = N'dbo', 
      @source_name   = N'MyTable', 
      @role_name     = NULL 
   GO 
   

   Kun kysely on suoritettu onnistuneesti, otit CDC:n käyttöön Azure SQL:n hallitussa instanssissa.

   

Lisää Azure SQL Managed Instance CDC lähteeksi

Jos et ole vielä lisännyt lähdettä tapahtumavirtaasi, valitse Yhdistä tietolähteet -ruutu. Voit myös valita Lisää lähde>Yhdistä tietolähteet nauhalla.

Jos lisäät lähdekoodin jo julkaistuun tapahtumavirtaan, vaihda muokkaustilaan . Nauhalta valitse Lisää lähde>Yhdistä tietolähteet.

Sivulla Valitse tietolähde, etsi ja valitse ConnectAzure SQL MI Database (DB) Change Data Capture (CDC) -ruudusta.

Konfiguroi ja yhdistä Azure SQL Managed Instance CDC:hen

Vastaanota muutostiedot Azure SQL Managed Instance -tietokannoista automaattisesti taulukkoskeeman rekisteröinnillä CDC:n kautta Eventstreamiin.

1. Valitse Yhdistä-sivullaUusi yhteys.

   

2. Osiossa Connection settings syötä seuraavat arvot Azure SQL Managed Instance:llesi:

   • Palvelin: Syötä päätepiste Azure-portaalista, korvaten isännän ja portin välinen pilkku kaksoispisteellä. Jos esimerkiksi päätepiste on xxxxx.public.xxxxxx.database.windows.net,3342, syötä xxxxx.public.xxxxxx.database.windows.net:3342 Palvelin-kenttään.

     

   • Database: Syötä tietokannan nimi, johon haluat yhdistää Azure SQL Managed Instance.

     

3. Vieritä alaspäin ja toimi Yhteyden tunnistetiedot -osiossa seuraavien ohjeiden mukaisesti.

   • Anna yhteyden nimi Yhteyden nimi -kohtaan.

   • Valitse todennuslajiksi Perus.

     Muistiinpano

     Tällä hetkellä Fabric Eventstream tukee vain Basic -tunnistautumista.

   • Syötä Username ja Password Azure SQL Managed Instance varten.

4. Valitse yhdistä sivun alareunasta.

5. Valitse nyt Yhdistä-sivullaKaikki taulukot tai Anna taulukon nimet. Jos valitset jälkimmäisen, määritä taulukot käyttämällä pilkuin eroteltua luetteloa kokonaisista taulukon tunnisteista (schemaName.tableName) tai kelvollisia säännönmukaisia lausekkeita. Esimerkki:

   • dbo.test.* avulla voit valita kaikki taulukot, joiden nimi alkaa dbo.test.
   • valitse dbo\.(test1|test2) ja dbo.test1dbo.test2 avulla.

   Voit yhdistää molemmat muodot luettelossa. Koko merkinnän merkkirajoitus on 102 400 merkkiä.

6. Laajenna Lisäasetukset määrittääksesi desimaalikäsittelytilan, joka määrittelee, miten liitin käsittelee DECIMAL ja NUMERIC sarakkeiden arvoja:

   • Precise: Esittää arvoja käyttäen tarkkoja desimaalityyppejä (esimerkiksi Java BigDecimal) varmistaakseen täyden tarkkuuden ja tarkkuuden datan esittämisessä.
   • Double: muuntaa arvot kaksoistarkoiksi liukupisteluvuiksi. Tämä vaihtoehto parantaa käytettävyyttä ja suorituskykyä, mutta saattaa johtaa tarkkuuden heikkenemiseen.
   • String: Koodaa arvot muotoiltuina merkkijonoina. Tämä vaihtoehto tekee niistä helppoja kuluttaa alavirran järjestelmissä, mutta menettää semanttista tietoa alkuperäisestä numeerisesta tyypistä.

Striimin tai lähteen tiedot

1. Connect-sivulla seuraa jotakin näistä vaiheista sen mukaan, käytätkö Eventstreamia vai Real-Time hubia.

   • Eventstream:

     Lähdetiedot-paneelissa oikealla seuraa seuraavia ohjeita:

     1. Lähdenimeä varten valitse Kynäpainike vaihtaaksesi nimen.

     2. Huomaa, että Eventstreamin nimi ja Streamin nimi ovat vain luku -tilassa.

   • Real-Time keskus:

     Oikealla olevassa Stream-tiedot-osiossa seuraa näitä vaiheita:

     1. Valitse Fabric workspace johon haluat luoda eventstreamin.

     2. Eventstreamin nimeä varten valitse Kynäpainike ja syötä tapahtumavirran nimi.

     3. Virran nimiarvo luodaan automaattisesti lisäämällä -stream tapahtumavirran nimeen. Tämä virta ilmestyy reaaliaikaisen hubin Kaikki datavirrat -sivulle, kun ohjattu on valmis.

2. Valitse Seuraava Määritä-sivun alareunasta.

Kertaile ja yhdistä

Review + connect -näytöllä käy läpi yhteenveto ja valitse Add (Eventstream) tai Connect (Real-Time hub).

Skeeman käsittelysivu

1. Skeeman käsittelyvaiheessa valitse jokin seuraavista vaihtoehdoista:

   • Analytiikkavalmiit tapahtumat ja automaattisesti päivittyvät skeemat (DeltaFlow Preview): Liitin muuntaa raaka CDC-tapahtumat analytiikkavalmiiksi virroiksi, jotka heijastavat lähdetaulun rakennetta. DeltaFlow rikastuttaa tapahtumia metatiedolla, kuten muutostyypillä (lisää, päivitä tai poista) ja aikaleimoilla, ja hallinnoi automaattisesti kohdetauluja ja skeeman kehitystä.
   • Raaka-CDC-tapahtumat: Liitin vastaanottaa ja tekee raaka-CDC-tapahtumat saataville. Hallinnaisesti liitin voi automaattisesti löytää taulukkoskeemat ja rekisteröidä ne skeemarekisteriin. Käytä tätä vaihtoehtoa, kun haluat skeematietoisuutta ilman DeltaFlow-muunnosta.

   Muistiinpano

   Seuraava kuvakaappaus näyttää Azure SQL Database CDC:n. Skeeman käsittelyvaihtoehdot ovat samat kaikille tuetuille CDC-lähdeliittimille.

   

2. Ota tapahtumarakenteen yhdistäminen käyttöön.

3. Workspace Fabric workspace skeemajoukolle.

4. Rakennejoukossa on oletusarvoisesti valittuna + Luo, mikä luo uuden rakennejoukon. Voit muuttaa sitä valitaksesi aiemmin luodun tapahtumarakennejoukon.

5. Jos valitsit + Luo -vaihtoehdon edellisessä vaiheessa, kirjoita rakennejoukon nimi.

6. Review + connect -sivulla tarkista yhteenveto ja valitse sitten Add (Eventstream) tai Connect (Real-Time hub).

   

   Kaikille Azure SQL Managed Instance -tietokannan tauluille tai valituille tauluille liitin löytää ja luo skeemat automaattisesti ja rekisteröi ne skeemarekisteriin.

DeltaFlow: Analytiikkavalmis tapahtumamuunnos (Esikatselu)

Kun otat käyttöön Analytics-valmiit tapahtumat ja automaattisesti päivitettävän skeeman (DeltaFlow), liitin tarjoaa seuraavat ominaisuudet:

• Analytiikkavalmis tapahtumamuoto: Raaka Debezium CDC -tapahtumat muunnetaan taulukkomuotoon, joka heijastaa lähdetaulun rakennetta. Tapahtumat rikastetaan metatietosarakkeilla, kuten muutostyyppi (insert, update, tai delete) ja tapahtuman aikaleima.
• Automaattinen kohdetaulujen hallinta: Kun reitität DeltaFlow-yhteensopivat virrat tuettuun kohteeseen, kuten eventhouseen, kohdetaulut luodaan automaattisesti vastaamaan lähdetauluskeemaa. Sinun ei tarvitse luoda tai konfiguroida kohdetauluja manuaalisesti.
• Skeeman kehityksen käsittely: Kun lähdetietokantataulut muuttuvat (esimerkiksi uusia sarakkeita lisätään tai tauluja luodaan), DeltaFlow tunnistaa muutokset automaattisesti, päivittää rekisteröidyt skeemat ja säätää kohdetauluja sen mukaisesti. Tämä vaihtoehto minimoi manuaalisen puuttumisen, joka johtuu skeemamuutoksista.

Lisätietoja siitä, miten DeltaFlow muuntaa raaka-CDC-tapahtumat analytiikkavalmiiksi tuloksiksi, mukaan lukien operaatiotyypit ja metatietosarakkeet, löytyy DeltaFlow-tulostusmuunnoksesta.

Näytä päivitetty tapahtumavirta

Voit nähdä Azure SQL MI DB (CDC) -lähteen lisätyn eventstreamiin Edit -tilassa.

Tämän uuden Azure SQL Managed Instance-lähteen toteuttamiseksi valitse Publish. Kun olet suorittanut nämä vaiheet, Azure SQL Managed Instance lähdekoodisi on käytettävissä visualisointiin Live view -muodossa.

Määritä Eventstreamin kohdekohdat käyttämään skeemoja

Tällä hetkellä vain Eventhouse, mukautettu päätepiste ja johdetut virtakohteet ovat tuettuina Eventstreameille, joihin liittyy skeemoja. Tässä osiossa kerrotaan, miten voit lisätä ja määrittää Eventhouse-kohteen, kun laajennetut ominaisuudet (kuten rakennetuki) ovat käytössä tapahtumavirrassa.

Määritä skeema mukautetulle päätepisteelle

1. Valitse Muunna tapahtumat tai lisää kohde, ja valitse sitten CustomEndpoint.

2. Mukautettu päätepiste -paneelissa määritä kohde nimeksi.

3. Valitse Syöterakenne-kohdassa tapahtumien rakenne. Teet valinnan tässä laatikossa, kun otat skeematuen käyttöön tapahtumavirralle.

Yksityiskohtaiset ohjeet mukautetun päätepisteen kohteen määrittämiseen ovat artikkelissa Mukautetun päätepisteen tai mukautetun sovelluksen kohteen lisääminen tapahtumavirtaan.

Tapahtumatalon kohteen rakenteiden määrittäminen

1. Valitse Muunna tapahtumat tai Lisää kohde ja valitse sitten Eventhouse.

2. Eventhouse-paneelissa määritä seuraavat skeema-asetukset:

   1. Syöteskeemalle valitse yksi tai useampi skeema pudotusvalikosta.

      

      Muistiinpano

      Jos valitsit Dynamic skeeman otsikoiden kautta -vaihtoehdon konfiguroidessasi Event Hubsin lähdekoodia, saatat olla konfiguroinut useita skeemoja lähteelle ja kartoittanut ne eri ominaisuuksiin ja arvoihin.

   2. Taulun luontitapaa varten valitse Yksi taulu, jossa kaikki skeemat on yhdistetty, tai Erilliset taulukot jokaiselle skeemalle tarpeidesi mukaan.

      

   3. Valitse Kirjoita tiedot -kohdassa jokin seuraavista vaihtoehdoista:

      • Vain hyötykuorma: Kirjoita purettu hyötykuorma taulukkoon. Jos syöterakenteita on useita, tiedot lähetetään useisiin taulukoihin.
      • Metatiedot ja hyötykuorma: Kirjoita metatiedot ja tietosisältötiedot yhteen taulukkoon. Esimerkkisarakkeita ovat source , subject, type, ja data.

      

Yksityiskohtaiset vaiheet tapahtumatalon kohteen konfigurointiin löydät kohdasta Lisää tapahtumatalon kohde tapahtumavirtaan.

Katso DeltaFlow-analytiikkavalmiit tulokset (Esikatselu)

Jos otit käyttöön Analytics-valmiit tapahtumat ja automaattisesti päivittyvät skeemat (DeltaFlow), kohdetaulut luodaan automaattisesti muotoon, joka peilaa lähdetietokantataulujasi. Jokainen taulukko sisältää alkuperäiset sarakkeet sekä metatietosarakkeet muutostyypille ja aikaleimalle.

Voit hakea näitä tauluja Kusto Query Language (KQL) -työkalulla tai muilla analytiikkatyökaluilla ilman, että sinun tarvitsee jäsentää raakaa Debezium CDC -hyötykuormaa.

Liittyvä sisältö

Muut liittimet:

• Amazon Kinesis -tietovirrat
• Azure Cosmos DB
• Azure Event Hubs
• Azure IoT Hub
• Azure SQL Database Change Data Capture (CDC)
• Yhtymäkohta Kafka
• Mukautettu päätepiste
• Google Cloud Pub/Sub
• PostgreSQL-tietokannan CDC
• Mallitiedot
• Azure Blob Storage tapahtumat
• Fabric työtilatapahtuma