Azure SQL Database Change Data Capture (CDC) toevoegen als bron in Real-Time hub

In dit artikel wordt beschreven hoe u gebeurtenissen kunt ophalen uit Azure SQL Database Change Data Capture (CDC) in Fabric Real-Time hub.

Met de Azure SQL Database CDC-bronconnector voor Microsoft Fabric-gebeurtenisstromen kunt u een momentopname van de huidige gegevens in een Azure SQL-database vastleggen. De connector bewaakt en registreert toekomstige wijzigingen op rijniveau in deze gegevens. Zodra de wijzigingen zijn vastgelegd in de eventstream, kunt u deze CDC-gegevens in realtime verwerken en verzenden naar verschillende bestemmingen in Fabric voor verdere verwerking of analyse.

Prerequisites

• Toegang tot een werkruimte in de Fabric-capaciteitslicentiemodus of de Proeflicentie-modus met Bijdrager- of hogere machtigingen.
• Een actieve Azure SQL-server met een Azure SQL-database.
• Uw Azure SQL-database moet openbaar toegankelijk zijn en zich niet achter een firewall bevinden of zijn beveiligd in een virtueel netwerk. Als het zich in een beveiligd netwerk bevindt, maakt u er verbinding mee met behulp van de virtuele netwerkinjectie van de Eventstream-connector.
• CDC is ingeschakeld in uw Azure SQL-database door de opgeslagen procedure sys.sp_cdc_enable_dbuit te voeren. Zie Change Data Capture in- en uitschakelen voor meer informatie.

CDC inschakelen in uw Azure SQL Database

1. Ga naar Azure Portal, open uw Azure SQL-database en selecteer Query-editor. Kies een verificatiemethode om u aan te melden.

   

2. Voer de volgende SQL-opdrachten uit om CDC in te schakelen in uw database:

   -- Enable Database for CDC
   EXEC sys.sp_cdc_enable_db;
   
   -- Enable CDC for a table using a gating role option
   EXEC sys.sp_cdc_enable_table
       @source_schema = N'dbo',
       @source_name   = N'MyTable',
       @role_name     = NULL
   GO
   

Pagina Gegevensbronnen

1. Meld u aan bij Microsoft Fabric.

2. Als u Power BI- linksonder op de pagina ziet, schakelt u over naar de workload Fabric door Power BI- te selecteren en vervolgens Fabric-te selecteren.

   

3. Selecteer Realtime op de linkernavigatiebalk.

   

4. De pagina Streaminggegevens wordt standaard geopend. Klik op de knop Gegevens toevoegen om naar de pagina Gegevensbronnen te gaan.

   

   U kunt ook rechtstreeks naar de pagina Gegevensbronnen gaan door de optie Gegevens toevoegen in de linkernavigatiebalk te selecteren.

   

4. Selecteer op de pagina Gegevensbronnende categorie Microsoft-bronnen bovenaan en selecteer vervolgens Verbinding maken op de tegel Azure SQL DB (CDC).

   

   Gebruik instructies uit de sectie Verbinding maken met een Azure SQL Database CDC-bron .

Verbinding maken met een Azure SQL Database CDC-bron

Wijzigingsgegevens uit Azure SQL-databases opnemen met automatische registratie van tabelschema's via CDC in Eventstream.

1. Selecteer Nieuwe verbinding op de Connect pagina.

   

2. Voer in de sectie Verbindingsinstellingen de volgende waarden in voor uw Azure SQL-database:

   • Server: Voer de naam van de Azure SQL-server in de Azure-portal in. Het is in deze vorm: mysqlservername.database.windows.net.

   • Database: Voer de naam van de Azure SQL-database in de Azure-portal in.

     

3. Schuif omlaag en volg deze stappen in de sectie Verbindingsreferenties .

   • Voer voor de verbindingsnaam een naam in voor de verbinding.

   • Voor verificatietype selecteert u Basic.

     Opmerking

     Fabric Eventstream ondersteunt momenteel alleen basisverificatie .

   • Voer de gebruikersnaam en het wachtwoord voor de database in.

4. Selecteer Maak verbinding met.

   

5. Selecteer nu op de pagina Verbinding makenalle tabellen of voer de tabelnaam(en) in. Als u deze laatste selecteert, geeft u tabellen op met behulp van een door komma's gescheiden lijst met volledige tabel-id's (schemaName.tableName) of geldige reguliere expressies. Voorbeeld:

   • Gebruik dbo.test.* om alle tabellen te selecteren waarvan de namen beginnen met dbo.test.
   • Gebruik dbo\.(test1|test2) om dbo.test1 en dbo.test2te selecteren.

   U kunt beide indelingen combineren met komma's. De totale tekenlimiet voor de hele vermelding is 102.400 tekens.

6. U kunt geavanceerde instellingen uitbreiden voor toegang tot meer configuratieopties voor de Azure SQL Database CDC-bron:

   • Decimalen verwerkingsmodus: definieert hoe de connector omgaat met DECIMAL en NUMERIC kolomwaarden:
     • Precise: Vertegenwoordigt waarden met exacte decimale typen (bijvoorbeeld Java BigDecimal) om volledige precisie en nauwkeurigheid in gegevensweergave te garanderen.
     • Double: converteert waarden naar getallen met dubbele precisie met drijvende komma. Deze instelling verbetert de bruikbaarheid en prestaties, maar kan leiden tot verlies van precisie.
     • String: Codeert waarden als opgemaakte tekenreeksen. Met deze instelling is eenvoudige integratie in downstream-systemen mogelijk, maar gaat semantische informatie over het oorspronkelijke numerieke type verloren.
   • Momentopnamemodus: geef de criteria op voor het uitvoeren van een momentopname wanneer de connector wordt gestart:
     • Initial: De connector voert alleen een momentopname uit wanneer er geen offsets zijn vastgelegd voor de naam van de logische server of als wordt gedetecteerd dat een eerdere momentopname niet kon worden voltooid. Nadat de momentopname is voltooid, begint de connector gebeurtenisrecords te streamen voor volgende databasewijzigingen.
     • InitialOnly: De connector voert alleen een momentopname uit zodra er geen offsets zijn vastgelegd voor de logische servernaam. Nadat de momentopname is voltooid, stopt de connector. Er wordt niet overgestapt naar streaming om wijzigingsevenementen uit de binlog te lezen.
     • NoData: De connector voert een momentopname uit die alleen het schema vastlegt, maar geen tabelgegevens. Stel deze optie in als u geen consistente momentopname van de gegevens nodig hebt, maar alleen de wijzigingen die plaatsvinden sinds de connector wordt gestart.
   • Lijst met uit te sluiten kolommen: hiermee geeft u kolommen op die moeten worden uitgesloten van wijzigingsgebeurteniswaarden door gebruik te maken van volledig gekwalificeerde namen (schemaName.tableName.columnName).
   • DatabasetoepassingIntent: bepaalt het routeringsgedrag in SQL Server AlwaysOn-beschikbaarheidsgroepen:
     • ReadWrite: Maakt verbinding met de primaire replica. Gebruik deze optie als de verbinding zowel lees- als schrijfbewerkingen moet uitvoeren.
     • ReadOnly: Hiermee wordt routering naar een leesbare secundaire replica toegestaan voor alleen-lezen bewerkingen. Gebruik dit om CDC rechtstreeks op replica's in te schakelen. Het vereist het instellen van snapshot.isolation.mode op snapshot, wat de enige modus voor transactieisolatie is die wordt ondersteund voor alleen-lezen replica's.
   • Momentopname selectie-instructie overschrijven: Gebruik de eigenschap als u wilt dat een momentopname alleen een deelverzameling van de rijen in een tabel bevat. Deze eigenschap is alleen van invloed op momentopnamen. Deze is niet van toepassing op gebeurtenissen die door de connector worden gelezen uit het logboek.

Stream- en brondetails

1. Voer op de pagina Verbinding maken een van deze stappen uit op basis van of u Eventstream of Real-Time hub gebruikt.

   • Eventstream:

     Voer in het deelvenster Brondetails aan de rechterkant de volgende stappen uit:

     1. Voor bronnaam selecteer de knop Potlood om de naam te wijzigen.

     2. Merk op dat eventstream-naam en streamnaam alleen-lezen zijn.

   • Real-Time hub:

     Voer in de sectie Stream-details aan de rechterkant de volgende stappen uit:

     1. Selecteer de Fabric-werkruimte waar u de eventstream wilt maken.

     2. Selecteer voor eventstreamnaam de knop Pencil en voer een naam in voor de eventstream.

     3. De streamnaamwaarde wordt automatisch voor u gegenereerd door -stream toe te voegen aan de naam van de eventstream. Wanneer de wizard voltooid is, wordt deze stream weergegeven op de pagina Alle gegevensstromen van de realtime hub.

2. Selecteer Volgende onder aan de pagina Configureren .

Beoordelen en verbinden

Controleer in het scherm Controleren en verbinden de samenvatting en selecteer Toevoegen (Eventstream) of Connect (Real-Time hub).

Pagina voor het verwerken van schema's

1. Kies op de pagina Schemaafhandeling een van de volgende opties:

   • Gebeurtenissen die gereed zijn voor analyses en automatisch bijgewerkt schema (DeltaFlow Preview):de connector transformeert onbewerkte CDC-gebeurtenissen in analyse-ready streams die uw brontabelstructuur weerspiegelen. DeltaFlow verrijkt gebeurtenissen met metagegevens zoals wijzigingstype (invoegen, bijwerken of verwijderen) en tijdstempels, en beheert automatisch doeltabellen en schemaontwikkeling.
   • Onbewerkte CDC-gebeurtenissen: de connector neemt de onbewerkte CDC-gebeurtenissen op en maakt deze beschikbaar. De connector kan eventueel tabelschema's automatisch opsporen en registreren in het schemaregister. Gebruik deze optie als u schemabewust wilt zijn zonder DeltaFlow-transformatie.

   Opmerking

   In de volgende schermopname ziet u Azure SQL Database CDC. De schemaafhandelingsopties zijn hetzelfde voor alle ondersteunde CDC-bronconnectors.

   

2. Schakel gebeurtenisschemakoppeling in.

3. Selecteer voor Werkruimte een Fabric-werkruimte voor de schemaset.

4. Voor schemaset is + Maken standaard geselecteerd, waarmee een nieuwe schemaset wordt gemaakt. U kunt deze wijzigen om een bestaande gebeurtenisschemaset te selecteren.

5. Als u de optie + Maken in de vorige stap hebt geselecteerd, voert u een naam in voor de schemaset.

6. Op de pagina Beoordelen en verbinden, selecteer Toevoegen (Eventstream) of Verbinden (Real-Time hub).

   

   Voor alle tabellen of specifieke tabellen in de Azure SQL-database zorgt de connector voor autodetectie en maakt het schema's aan en registreert deze bij de schema registry.

7. Selecteer het eventstream-knooppunt in het midden en schakel over naar het tabblad Gekoppelde schema's in het onderste deelvenster.

   

Schemaset

1. Navigeer naar de werkruimte die u in de vorige stap hebt geselecteerd. In het volgende voorbeeld is dit Mijn werkruimte.

2. Selecteer de schemaset die door de Azure SQL Database-connector (CDC) is gemaakt.

   

3. U ziet de schema's in de schemaset, zoals wordt weergegeven in de volgende afbeelding.

   

4. Als u de JSON-versie van het schema wilt zien, schakelt u over naar de JSON-schemaweergave .

   

   Wijzig deze gedetecteerde schema's niet met behulp van deze editor, omdat het niet-firmant wordt met het schema van tabellen in de Azure SQL-databasebron.

DeltaFlow: Gebeurtenistransformatie die gereed is voor analyse (preview)

Wanneer u gebeurtenissen die gereed zijn voor analyse en automatisch bijgewerkt schema (DeltaFlow) inschakelt, biedt de connector de volgende mogelijkheden:

• Analyseklaar gebeurtenisshape: Debezium CDC-gebeurtenissen worden getransformeerd in een tabelvorm die de structuur van de brontabel weerspiegelt. Gebeurtenissen worden verrijkt met metagegevenskolommen, waaronder het wijzigingstype (insert, updateof delete) en de tijdstempel van de gebeurtenis.

• Automatisch beheer van doeltabellen: wanneer u streams met DeltaFlow doorsturen naar een ondersteunde bestemming, zoals een eventhouse, worden doeltabellen automatisch gemaakt om overeen te komen met het brontabelschema. U hoeft geen doeltabellen handmatig te maken of te configureren.

• Verwerking van schemaontwikkeling: wanneer brondatabasetabellen veranderen (bijvoorbeeld nieuwe kolommen worden toegevoegd of tabellen worden gemaakt), detecteert DeltaFlow automatisch de wijzigingen, werkt de geregistreerde schema's bij en past de doeltabellen dienovereenkomstig aan. Met deze optie minimaliseert u handmatige interventie die wordt veroorzaakt door schemawijzigingen.

  

Zie DeltaFlow-uitvoertransformatie voor meer informatie over hoe DeltaFlow onbewerkte CDC-gebeurtenissen transformeert in uitvoer die gereed is voor analyse, inclusief bewerkingstypen en metagegevenskolommen.

Details van gegevensstroom weergeven

1. Als u Open eventstream selecteert op de pagina Controleren en verbinden, wordt de gebeurtenisstream geopend die voor u is gemaakt met de geselecteerde Azure SQL Database CDC als bron. Als u de wizard wilt sluiten, selecteert u Voltooien onderaan de pagina.

   

2. U ziet de stream in de sectie Recente streaminggegevens van de startpagina van de Real-Time hub . Zie Details van gegevensstromen weergeven in Fabric Realtime-hub voor gedetailleerde stappen.

Verwante inhoud

Zie de volgende artikelen voor meer informatie over het gebruik van gegevensstromen:

• Gegevensstromen verwerken
• Gegevensstromen analyseren
• Waarschuwingen instellen voor gegevensstromen