Lisää SQL Server VM DB (CDC) -lähdekoodi tapahtumavirtaan

Tässä artikkelissa näytetään, miten voit lisätä SQL Server VM DB Change Data Capture (CDC) -lähteen tapahtumavirtaan.

SQL Server on VM DB (CDC) -lähdeliitin Fabric-tapahtumavirroille mahdollistaa nykyisen datan tilannekuvan ottamisen SQL Server -tietokannassa VM:ssä. Tällä hetkellä SQL Server on VM DB (CDC) on tuettu seuraavista palveluista, joissa tietokantoja voi käyttää julkisesti:

• SQL Server on Azure Virtual Machines
• Amazon Relational Database Service (RDS) SQL Server
• Amazon RDS Custom for SQL Server
• Google Cloud SQL for SQL Server

Kun SQL Server on VM DB (CDC) -lähdekoodi lisätään tapahtumavirtaan, se seuraa ja tallentaa tulevia rivitason muutoksia, jotka voidaan sitten käsitellä reaaliajassa ja lähettää eri kohteisiin jatkoanalyysiä varten.

Edellytykset

• Pääsy työtilaan Fabric-kapasiteetin lisenssitilassa (tai) kokeilulisenssitilassa, jossa on Contributor tai korkeammat oikeudet.
• Käynnissä oleva SQL Server VM-tietokannassa.
• SQL Server on VM -tietokantasi täytyy konfiguroida sallimaan julkinen pääsy. Jos se sijaitsee suojatussa verkossa, yhdistä siihen käyttämällä Eventstream-liittimen virtuaaliverkkoinjektiota.
• Ota CDC käyttöön SQL Server VM-tietokannassasi ajamalla tallennettu proseduuri sys.sp_cdc_enable_db. Lisätietoja on kohdassa Ota tietokaappaus käyttöön ja poista se käytöstä.

Ota CDC käyttöön SQL Server on VM -tietokannassasi

1. Ota CDC käyttöön tietokannalle.

   EXEC sys.sp_cdc_enable_db; 
   

2. Ota CDC käyttöön taulukolle gating-roolivaihtoehdon avulla. Tässä esimerkissä MyTable on SQL-taulukon nimi.

   EXEC sys.sp_cdc_enable_table 
      @source_schema = N'dbo', 
      @source_name   = N'MyTable', 
      @role_name     = NULL 
   GO 
   

   Kun kysely suoritetaan onnistuneesti, otit CDC:n käyttöön SQL Server on VM -tietokannassasi.

   

Lisää SQL Server VM-tietokannassa lähteeksi

Jos et ole vielä lisännyt lähdettä tapahtumavirtaasi, valitse Yhdistä tietolähteet -ruutu. Voit myös valita Lisää lähde>Yhdistä tietolähteet nauhalla.

Jos lisäät lähdekoodin jo julkaistuun tapahtumavirtaan, vaihda muokkaustilaan . Nauhalta valitse Lisää lähde>Yhdistä tietolähteet.

Valitse tietolähde-sivulla, etsi ja valitse ConnectSQL Server VM DB:llä (cdc) -laatalla.

Konfiguroi ja yhdistä SQL Server VM-tietokannassa

Muutosdatan vastaanottaminen SQL Server:stä VM-tietokannoissa automaattisella taulukkoskeeman rekisteröinnillä CDC:n kautta Eventstreamiin.

1. Valitse Yhdistä-sivullaUusi yhteys.

   

2. Osiossa Connection settings syötä seuraavat arvot SQL Server VM:ssä:

   • Palvelin: Syötä virtuaalikoneen IP-osoite tai verkkotunnus, lisää sitten kaksoispiste ja portti. Jos ESIMERKIKSI IP-osoitteesi on xx.xxx.xxx.xxx ja portti on 1433, kirjoita xx.xxx.xxx.xxx:1433 Palvelin-kenttään. Jos porttia ei ole määritetty, käytetään portin oletusarvoa 1433 .

   • Database: Syötä tietokannan nimi, johon haluat yhdistää, SQL Server VM:ssä.

     

3. Vieritä alaspäin ja toimi Yhteyden tunnistetiedot -osiossa seuraavien ohjeiden mukaisesti.

   • Anna yhteyden nimi Yhteyden nimi -kohtaan.

   • Valitse todennuslajiksi Perus.

     Muistiinpano

     Tällä hetkellä Fabric Eventstream tukee vain Basic -tunnistautumista.

   • Syötä Username ja Password VM:n SQL Server:lle.

     Muistiinpano

     Älä valitse vaihtoehtoa: Käytä salattua yhteyttä.

     

4. Valitse yhdistä sivun alareunasta.

5. Valitse nyt Yhdistä-sivullaKaikki taulukot tai Anna taulukon nimet. Jos valitset jälkimmäisen, määritä taulukot käyttämällä pilkuin eroteltua luetteloa kokonaisista taulukon tunnisteista (schemaName.tableName) tai kelvollisia säännönmukaisia lausekkeita. Esimerkkejä:

   • dbo.test.* avulla voit valita kaikki taulukot, joiden nimi alkaa dbo.test.
   • valitse dbo\.(test1|test2) ja dbo.test1dbo.test2 avulla.

   Voit yhdistellä molempia muotoiluja pilkuilla. Koko merkinnän merkkirajoitus on 102 400 merkkiä.

6. Voit laajentaa Lisäasetukset määrittääksesi Desimaalien käsittelytilan, joka määrittää, miten yhdistin käsittelee DECIMAL ja sarakearvot NUMERIC :

   • Precise: Esittää arvoja käyttäen tarkkoja desimaalityyppejä (esimerkiksi Java BigDecimal) varmistaakseen täyden tarkkuuden ja tarkkuuden datan esittämisessä.
   • Double: muuntaa arvot kaksoistarkoiksi liukupisteluvuiksi. Tämä asetus parantaa käytettävyyttä ja suorituskykyä, mutta voi johtaa tarkkuuden heikkenemiseen.
   • String: Koodaa arvot muotoiltuina merkkijonoina. Tämä asetus tekee niistä helppoja kuluttaa jälkivirtajärjestelmissä, mutta menettää semanttista tietoa alkuperäisestä numeerisesta tyypistä.

Striimin tai lähteen tiedot

1. Connect-sivulla seuraa jotakin näistä vaiheista sen mukaan, käytätkö Eventstreamia vai Real-Time hubia.

   • Eventstream:

     Lähdetiedot-paneelissa oikealla seuraa seuraavia ohjeita:

     1. Lähdenimeä varten valitse Kynäpainike vaihtaaksesi nimen.

     2. Huomaa, että Eventstreamin nimi ja Streamin nimi ovat vain luku -tilassa.

   • Real-Time keskus:

     Oikealla olevassa Stream-tiedot-osiossa seuraa näitä vaiheita:

     1. Valitse Fabric workspace johon haluat luoda eventstreamin.

     2. Eventstreamin nimeä varten valitse Kynäpainike ja syötä tapahtumavirran nimi.

     3. Virran nimiarvo luodaan automaattisesti lisäämällä -stream tapahtumavirran nimeen. Tämä virta ilmestyy reaaliaikaisen hubin Kaikki datavirrat -sivulle, kun ohjattu on valmis.

2. Valitse Seuraava Määritä-sivun alareunasta.

Kertaile ja yhdistä

Review + connect -näytöllä käy läpi yhteenveto ja valitse Add (Eventstream) tai Connect (Real-Time hub).

Skeeman käsittelysivu

1. Skeeman käsittelyvaiheessa valitse jokin seuraavista vaihtoehdoista:

   • Analytiikkavalmiit tapahtumat ja automaattisesti päivittyvät skeemat (DeltaFlow Preview): Liitin muuntaa raaka CDC-tapahtumat analytiikkavalmiiksi virroiksi, jotka heijastavat lähdetaulun rakennetta. DeltaFlow rikastuttaa tapahtumia metatiedolla, kuten muutostyypillä (lisää, päivitä tai poista) ja aikaleimoilla, ja hallinnoi automaattisesti kohdetauluja ja skeeman kehitystä.
   • Raaka-CDC-tapahtumat: Liitin vastaanottaa ja tekee raaka-CDC-tapahtumat saataville. Hallinnaisesti liitin voi automaattisesti löytää taulukkoskeemat ja rekisteröidä ne skeemarekisteriin. Käytä tätä vaihtoehtoa, kun haluat skeematietoisuutta ilman DeltaFlow-muunnosta.

   Muistiinpano

   Seuraava kuvakaappaus näyttää Azure SQL Database CDC:n. Skeeman käsittelyvaihtoehdot ovat samat kaikille tuetuille CDC-lähdeliittimille.

   

2. Ota tapahtumarakenteen yhdistäminen käyttöön.

3. Workspace Fabric workspace skeemajoukolle.

4. Rakennejoukossa on oletusarvoisesti valittuna + Luo, mikä luo uuden rakennejoukon. Voit muuttaa sitä valitaksesi aiemmin luodun tapahtumarakennejoukon.

5. Jos valitsit + Luo -vaihtoehdon edellisessä vaiheessa, kirjoita rakennejoukon nimi.

6. Review + create -näytöllä käy läpi yhteenveto ja valitse Add (Eventstream) tai Connect (Real-Time hub).

   

   Kaikille SQL Server on VM -tietokannan tauluille tai valituille tauluille liitin löytää ja luo skeemat automaattisesti ja rekisteröi ne skeemarekisteriin.

DeltaFlow: Analytiikkavalmis tapahtumamuunnos (Esikatselu)

Kun otat käyttöön Analytics-valmiit tapahtumat ja automaattisesti päivitettävän skeeman (DeltaFlow), liitin tarjoaa seuraavat ominaisuudet:

• Analytiikkavalmis tapahtumamuoto: Raaka Debezium CDC -tapahtumat muunnetaan taulukkomuotoon, joka heijastaa lähdetaulun rakennetta. Tapahtumat rikastetaan metatietosarakkeilla, kuten muutostyyppi (insert, update, tai delete) ja tapahtuman aikaleima.
• Automaattinen kohdetaulujen hallinta: Kun reitität DeltaFlow-yhteensopivat virrat tuettuun kohteeseen, kuten eventhouseen, kohdetaulut luodaan automaattisesti vastaamaan lähdetauluskeemaa. Sinun ei tarvitse luoda tai konfiguroida kohdetauluja manuaalisesti.
• Skeeman kehityksen käsittely: Kun lähdetietokantataulut muuttuvat (esimerkiksi uusia sarakkeita lisätään tai tauluja luodaan), DeltaFlow tunnistaa muutokset automaattisesti, päivittää rekisteröidyt skeemat ja säätää kohdetauluja sen mukaisesti. Tämä ominaisuus minimoi manuaalisen puuttumisen, joka johtuu skeemamuutoksista.

Lisätietoja siitä, miten DeltaFlow muuntaa raaka-CDC-tapahtumat analytiikkavalmiiksi tuloksiksi, mukaan lukien operaatiotyypit ja metatietosarakkeet, löytyy DeltaFlow-tulostusmuunnoksesta.

Näytä päivitetty tapahtumavirta

Voit nähdä VM:n tietokannan CDC-lähteen SQL Server lisättynä tapahtumavirtaan Edit-tilassa.

Toteuttaaksesi tämän vastikään lisätyn SQL Server VM DB CDC -lähdekoodissa, valitse Publish. Kun olet suorittanut nämä vaiheet, SQL Server VM DB CDC-lähdekoodissa on käytettävissä visualisointia varten Live view.

Määritä Eventstreamin kohdekohdat käyttämään skeemoja

Tällä hetkellä vain Eventhouse, mukautettu päätepiste ja johdetut virtakohteet ovat tuettuina Eventstreameille, joihin liittyy skeemoja. Tässä osiossa kerrotaan, miten voit lisätä ja määrittää Eventhouse-kohteen, kun laajennetut ominaisuudet (kuten rakennetuki) ovat käytössä tapahtumavirrassa.

Määritä skeema mukautetulle päätepisteelle

1. Valitse Muunna tapahtumat tai lisää kohde, ja valitse sitten CustomEndpoint.

2. Mukautettu päätepiste -paneelissa määritä kohde nimeksi.

3. Valitse Syöterakenne-kohdassa tapahtumien rakenne. Teet valinnan tässä laatikossa, kun otat skeematuen käyttöön tapahtumavirralle.

Yksityiskohtaiset ohjeet mukautetun päätepisteen kohteen määrittämiseen ovat artikkelissa Mukautetun päätepisteen tai mukautetun sovelluksen kohteen lisääminen tapahtumavirtaan.

Tapahtumatalon kohteen rakenteiden määrittäminen

1. Valitse Muunna tapahtumat tai Lisää kohde ja valitse sitten Eventhouse.

2. Eventhouse-paneelissa määritä seuraavat skeema-asetukset:

   1. Syöteskeemalle valitse yksi tai useampi skeema pudotusvalikosta.

      

      Muistiinpano

      Jos valitsit Dynamic skeeman otsikoiden kautta -vaihtoehdon konfiguroidessasi Event Hubsin lähdekoodia, saatat olla konfiguroinut useita skeemoja lähteelle ja kartoittanut ne eri ominaisuuksiin ja arvoihin.

   2. Taulun luontitapaa varten valitse Yksi taulu, jossa kaikki skeemat on yhdistetty, tai Erilliset taulukot jokaiselle skeemalle tarpeidesi mukaan.

      

   3. Valitse Kirjoita tiedot -kohdassa jokin seuraavista vaihtoehdoista:

      • Vain hyötykuorma: Kirjoita purettu hyötykuorma taulukkoon. Jos syöterakenteita on useita, tiedot lähetetään useisiin taulukoihin.
      • Metatiedot ja hyötykuorma: Kirjoita metatiedot ja tietosisältötiedot yhteen taulukkoon. Esimerkkisarakkeita ovat source , subject, type, ja data.

      

Yksityiskohtaiset vaiheet tapahtumatalon kohteen konfigurointiin löydät kohdasta Lisää tapahtumatalon kohde tapahtumavirtaan.

Katso DeltaFlow-analytiikkavalmiit tulokset (Esikatselu)

Jos otit käyttöön Analytics-valmiit tapahtumat ja automaattisesti päivittyvät skeemat (DeltaFlow), kohdetaulut luodaan automaattisesti muotoon, joka peilaa lähdetietokantataulujasi. Jokainen taulukko sisältää alkuperäiset sarakkeet sekä metatietosarakkeet muutostyypille ja aikaleimalle.

Voit hakea näitä tauluja Kusto Query Language (KQL) -työkalulla tai muilla analytiikkatyökaluilla ilman, että sinun tarvitsee jäsentää raakaa Debezium CDC -hyötykuormaa.

Liittyvä sisältö

Muut liittimet:

• Amazon Kinesis -tietovirrat
• Azure Cosmos DB
• Azure Event Hubs
• Azure IoT Hub
• Azure SQL Database Change Data Capture (CDC)
• Yhtymäkohta Kafka
• Mukautettu päätepiste
• Google Cloud Pub/Sub
• PostgreSQL-tietokannan CDC
• Mallitiedot
• Azure Blob Storage tapahtumat
• Fabric työtilatapahtuma