Hinzufügen der Change Data Capture (CDC) der Azure SQL-Datenbank als Quelle im Echtzeit-Hub

Dieser Artikel beschreibt die Vorgehensweise zum Abrufen von Ereignissen aus Azure SQL-Datenbank Change Data Capture (CDC) in den Fabric-Echtzeithub.

Der Azure SQL Database CDC Source Connector für Microsoft Fabric-Eventstreams ermöglicht es Ihnen, einen Snapshot der aktuellen Daten in einer Azure SQL-Datenbank zu erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. Sobald die Änderungen im Eventstream erfasst sind, können Sie diese CDC-Daten in Echtzeit verarbeiten und an verschiedene Ziele innerhalb von Fabric zur weiteren Verarbeitung oder Analyse senden.

Voraussetzungen

• Zugriff auf einen Arbeitsbereich im Fabric-Kapazitätslizenzmodus oder im Testlizenzmodus mit Mitwirkenden oder höheren Berechtigungen.
• Ein laufender Azure SQL-Server mit einer Azure SQL-Datenbank.
• Ihre Azure SQL-Datenbank sollte öffentlich zugänglich sein und nicht hinter einer Firewall oder in einem virtuellen Netzwerk geschützt sein. Wenn es sich in einem geschützten Netzwerk befindet, stellen Sie mithilfe der Eventstream Connector virtual network Injection eine Verbindung mit ihr her.
• Aktiviert CDC in Ihrer Azure SQL-Datenbank durch Ausführen der gespeicherten Prozedur sys.sp_cdc_enable_db. Weitere Informationen finden Sie unter Aktivieren und Deaktivieren von Change Data Capture.

Aktivieren von CDC in Ihrer Azure SQL-Datenbank

1. Gehen Sie zum Azure-Portal, öffnen Sie Ihre Azure SQL-Datenbank und wählen Sie Query editor aus. Wählen Sie eine Authentifizierungsmethode für die Anmeldung aus.

   

2. Führen Sie die folgenden SQL-Befehle aus, um CDC in Ihrer Datenbank zu aktivieren:

   -- Enable Database for CDC
   EXEC sys.sp_cdc_enable_db;
   
   -- Enable CDC for a table using a gating role option
   EXEC sys.sp_cdc_enable_table
       @source_schema = N'dbo',
       @source_name   = N'MyTable',
       @role_name     = NULL
   GO
   

Datenquellenseite

1. Melden Sie sich bei Microsoft Fabric an.

2. Wenn unten links auf der Seite Power BI angezeigt wird, wechseln Sie zur Fabric-Workload, indem Sie Power BI und dann Fabric auswählen.

   

3. Wählen Sie in der linken Navigationsleiste Echtzeit aus.

   

4. Die Streamingdatenseite wird standardmäßig geöffnet. Klicken Sie auf die Schaltfläche " Daten hinzufügen ", um zur Seite " Datenquellen " zu gelangen.

   

   Sie können auch direkt zur Seite " Datenquellen " gelangen, indem Sie in der linken Navigationsleiste die Option " Daten hinzufügen " auswählen.

   

4. Wählen Sie auf der Seite Datenquellen oben die Kategorie Microsoft-Quellen aus, und anschließend auf der Kachel Azure SQL DB (CDC) die Option Verbinden.

   

   Verwenden Sie Anweisungen aus dem Abschnitt Herstellen einer Verbindung mit einer Azure SQL-Datenbank-CDC-Quelle.

Herstellen einer Verbindung mit einer Azure SQL-Datenbank-CDC-Quelle

Erfassen von Änderungsdaten aus Azure SQL-Datenbanken mit automatischer Tabellenschemaregistrierung über CDC in Eventstream.

1. Wählen Sie auf der Seite Verbinden die Option Neue Verbindung aus.

   

2. Geben Sie im Abschnitt Verbindungseinstellungen die folgenden Werte für Ihre Azure SQL-Datenbank ein:

   • Server: Geben Sie den Namen des Azure SQL-Servers aus dem Azure-Portal ein. Es befindet sich in dieser Form: mysqlservername.database.windows.net.

   • Datenbank: Geben Sie den Azure SQL-Datenbanknamen aus dem Azure-Portal ein.

     

3. Scrollen Sie nach unten und gehen Sie im Abschnitt Anmeldedaten für die Verbindung folgendermaßen vor:

   • Geben Sie für Verbindungsname einen Namen für die Verbindung ein.

   • Wählen Sie für Authentifizierungsart die Option Standard aus.

     Hinweis

     Derzeit unterstützt Fabric Eventstream nur die Standardauthentifizierung .

   • Geben Sie den Benutzernamen und das Kennwort für die Datenbank ein.

4. Wählen Sie Verbinden.

   

5. Wählen Sie nun auf der Seite "Verbinden " die Option "Alle Tabellen" aus, oder geben Sie tabellennamen ein. Wenn Sie letzteres auswählen, geben Sie Tabellen mithilfe einer durch Trennzeichen getrennten Liste mit vollständigen Tabellenbezeichnern (schemaName.tableName) oder gültigen regulären Ausdrücken an. Beispiel:

   • Verwenden Sie dbo.test.*, um alle Tabellen auszuwählen, deren Namen mit dbo.test beginnen.
   • Verwenden Sie dbo\.(test1|test2), um dbo.test1 und dbo.test2 auszuwählen.

   Sie können beide Formate mithilfe von Kommas mischen. Die Gesamtzeichenbeschränkung für den gesamten Eintrag beträgt 102.400 Zeichen.

6. Sie können erweiterte Einstellungen erweitern, um auf weitere Konfigurationsoptionen für die Azure SQL-Datenbank-CDC-Quelle zuzugreifen:

   • Dezimalbehandlungsmodus: Definiert, wie der Konnektor DECIMAL und NUMERIC Spaltenwerte verarbeitet:
     • Precise: Stellt Werte mithilfe exakter Dezimaltypen dar (z. B. Java BigDecimal), um die volle Genauigkeit und Genauigkeit in der Datendarstellung sicherzustellen.
     • Double: Wandelt Werte in Gleitkommazahlen mit doppelter Genauigkeit um. Diese Einstellung verbessert die Benutzerfreundlichkeit und Leistung, kann aber zu einem Genauigkeitsverlust führen.
     • String: Codiert Werte als formatierte Zeichenfolgen. Diese Einstellung erleichtert die Nutzung in nachgeschalteten Systemen, verliert jedoch semantische Informationen über den ursprünglichen numerischen Typ.
   • Momentaufnahmemodus: Geben Sie die Kriterien für das Ausführen einer Momentaufnahme an, wenn der Connector gestartet wird:
     • Initial: Der Connector führt eine Momentaufnahme nur aus, wenn keine Offsets für den logischen Servernamen aufgezeichnet wurden oder wenn erkannt wird, dass eine frühere Momentaufnahme nicht abgeschlossen werden konnte. Nach Abschluss der Momentaufnahme beginnt der Connector, Ereignisdatensätze für nachfolgende Datenbankänderungen zu streamen.
     • InitialOnly: Der Connector führt eine Momentaufnahme nur aus, wenn für den logischen Servernamen keine Offsets aufgezeichnet wurden. Nach Abschluss der Momentaufnahme stoppt der Verbinder. Es wechselt nicht zum Streaming, um Änderungsereignisse aus dem Binlog zu lesen.
     • NoData: Der Connector führt eine Momentaufnahme aus, die nur das Schema, aber keine Tabellendaten erfasst. Legen Sie diese Option fest, wenn Sie keine konsistente Momentaufnahme der Daten benötigen, aber sie benötigen nur die Änderungen, die seit dem Start des Connectors vorgenommen werden.
   • Liste "Spalten ausschließen": Gibt Spalten an, die von Änderungsereigniswerten mit vollqualifizierten Namen (schemaName.tableName.columnName) ausgeschlossen werden sollen.
   • Database applicationIntent: Bestimmt das Routingverhalten in SQL Server AlwaysOn-Verfügbarkeitsgruppen:
     • ReadWrite: Stellt eine Verbindung mit dem primären Replikat her. Verwenden Sie diese Option, wenn die Verbindung Lese- und Schreibvorgänge ausführen muss.
     • ReadOnly: Ermöglicht das Routing an ein lesbares sekundäres Replikat für schreibgeschützte Vorgänge. Verwenden Sie es, um CDC direkt auf Replikaten zu aktivieren. Es ist erforderlich, "snapshot.isolation.mode" auf "snapshot" festzulegen, da dies der einzige Transaktionsisolationsmodus ist, der für lesende Replikate unterstützt wird.
   • Snapshot-Abfrageanweisung überschreiben: Verwenden Sie die Eigenschaft, wenn Sie möchten, dass ein Snapshot nur einen Teil der Zeilen in einer Tabelle enthält. Diese Eigenschaft wirkt sich nur auf Momentaufnahmen aus. Sie gilt nicht für Ereignisse, die der Connector aus dem Protokoll liest.

Stream- oder Quelldetails

1. Führen Sie auf der Seite "Verbinden " einen dieser Schritte aus, je nachdem, ob Sie Eventstream oder Real-Time Hub verwenden.

   • Eventstream:

     Führen Sie im Bereich " Quelldetails " rechts die folgenden Schritte aus:

     1. Um den Quellnamen zu ändern, wählen Sie das Stiftsymbol aus.

     2. Beachten Sie, dass der Eventstream-Name und der Stream-Name schreibgeschützt sind.

   • Real-Time Hub:

     Führen Sie im Abschnitt Datenstromdetails die folgenden Schritte aus:

     1. Wählen Sie den Fabric-Arbeitsbereich aus, in dem Sie den Eventstream erstellen möchten.

     2. Wählen Sie für den Eventstream-Namen die Stiftschaltfläche aus, und geben Sie einen Namen für den Eventstream ein.

     3. Der Wert für den Stream-Namen wird automatisch generiert, indem "-stream " an den Namen des Ereignisstreams angefügt wird. Dieser Datenstrom wird auf der Seite "Alle Datenströme" des Echtzeithubs angezeigt, wenn der Assistent beendet wird.

2. Wählen Sie unten auf der Seite "Konfigurieren" die Option "Weiter" aus.

Überprüfen und Verbinden

Überprüfen Sie auf dem Bildschirm "Überprüfen + Verbinden " die Zusammenfassung, und wählen Sie "Hinzufügen " (Eventstream) oder "Verbinden " (Real-Time Hub) aus.

Schemabehandlungsseite

1. Wählen Sie auf der Seite " Schemabehandlung " eine der folgenden Optionen aus:

   • Analysefähige Ereignisse und automatisch aktualisiertes Schema (DeltaFlow Preview): Der Connector wandelt unformatierte CDC-Ereignisse in analysefähige Datenströme um, die Ihre Quelltabellenstruktur spiegeln. DeltaFlow erweitert Ereignisse mit Metadaten wie Änderungstyp (Einfügen, Aktualisieren oder Löschen) und Zeitstempeln und verwaltet automatisch Zieltabellen und Schemaentwicklung.
   • Roh-CDC-Ereignisse: Der Connector importiert und stellt die Roh-CDC-Ereignisse zur Verfügung. Optional kann der Connector Tabellenschemas automatisch bestimmen und in der Schemaregistrierung registrieren. Verwenden Sie diese Option, wenn Sie die Schemasensibilisierung ohne DeltaFlow-Transformation wünschen.

   Hinweis

   Der folgende Screenshot zeigt CDC in Azure SQL-Datenbank. Die Schemabehandlungsoptionen sind für alle unterstützten CDC-Quellconnectors identisch.

   

2. Aktivieren Sie die Ereignisschemazuordnung.

3. Wählen Sie einen Fabric-Arbeitsbereich für den Schemasatz aus.

4. Bei Schemasatz ist +Erstellen standardmäßig ausgewählt, wodurch ein neuer Schemasatz erstellt wird. Sie können ihn ändern, um einen vorhandenen Ereignisschemasatz auszuwählen.

5. Wenn Sie im vorherigen Schritt die Option +Erstellen ausgewählt haben, geben Sie einen Namen für den Schemasatz ein.

6. Wählen Sie auf der Seite "Überprüfen + Verbinden " die Option "Hinzufügen " (Eventstream) oder "Verbinden " (Real-Time Hub) aus.

   

   Für alle Tabellen oder ausgewählten Tabellen in der Azure SQL-Datenbank erkennt der Connector automatisch und erstellt Schemas und registriert sie in der Schemaregistrierung.

7. Wählen Sie den Eventstream-Knoten in der Mitte aus, und wechseln Sie im unteren Bereich zur Registerkarte " Zugeordnete Schemas ".

   

Schemasatz

1. Navigieren Sie zum Arbeitsbereich, den Sie im vorherigen Schritt ausgewählt haben. Im folgenden Beispiel ist es "Mein Arbeitsbereich".

2. Wählen Sie den Schemasatz aus, den der Azure SQL-Datenbankanschluss (CDC) erstellt hat.

   

3. Die Schemas im Schemasatz werden wie in der folgenden Abbildung angezeigt.

   

4. Um die JSON-Version des Schemas anzuzeigen, wechseln Sie zur JSON-Schemaansicht .

   

   Ändern Sie diese ermittelten Schemas nicht mit diesem Editor, da sie nicht mit dem Schema der Tabellen in der Azure SQL-Datenbank konform sind.

DeltaFlow: Analysebereite Ereignistransformation (Vorschau)

Wenn Sie Analysefähige Ereignisse und automatisch aktualisiertes Schema (DeltaFlow) aktivieren, bietet der Connector die folgenden Funktionen:

• Für Analysen geeignete Ereignisstruktur: Rohe Debezium CDC-Ereignisse werden in ein tabellarisches Format umgewandelt, das die Struktur der Quelltabelle widerspiegelt. Ereignisse werden mit Metadatenspalten erweitert, einschließlich des Änderungstyps (insert, updateoder delete) und des Ereigniszeitstempels.

• Automatische Verwaltung der Zieltabelle: Wenn Sie DeltaFlow-fähige Datenströme an ein unterstütztes Ziel wie ein Eventhouse weiterleiten, werden Zieltabellen automatisch erstellt, um dem Quelltabellenschema zu entsprechen. Sie müssen keine Zieltabellen manuell erstellen oder konfigurieren.

• Schemaentwicklungsbehandlung: Wenn sich Quelldatenbanktabellen ändern (z. B. werden neue Spalten hinzugefügt oder Tabellen erstellt), erkennt DeltaFlow automatisch die Änderungen, aktualisiert die registrierten Schemas und passt die Zieltabellen entsprechend an. Diese Option minimiert den manuellen Eingriff durch Schemaänderungen.

  

Ausführliche Informationen dazu, wie DeltaFlow rohe CDC-Ereignisse in analysebereite Ausgaben transformiert, einschließlich Vorgangstypen und Metadatenspalten, finden Sie unter DeltaFlow-Ausgabetransformation.

Datenstrom-Details anzeigen

1. Wenn Sie auf der Seite Überprüfen und verbindenEventstream öffnen auswählen, öffnet der Assistent den Eventstream, den er für Sie mit dem ausgewählten Azure SQL-Datenbank-CDC als Quelle erstellt hat. Um den Assistenten zu schließen, wählen Sie unten auf der Seite Fertig stellen aus.

   

2. Sie sollten den Stream im Abschnitt "Aktuelle Streamingdaten" der Startseite desReal-Time-Hubs sehen. Detaillierte Schritte finden Sie unter Details von Datenströmen im Fabric-Echtzeithub anzeigen.

Zugehöriger Inhalt

Weitere Informationen zum Thema Konsumieren von Datenströmen finden Sie in den folgenden Artikeln:

• Datenströme verarbeiten
• Analysieren von Datenströmen
• Warnungen für Datenströme einrichten