Lägg till Azure SQL Database Change Data Capture (CDC) som källa i realtidshubben

Den här artikeln beskriver hur du hämtar händelser från Azure SQL Database Change Data Capture (CDC) till Fabric Real-Time Hub.

Med Azure SQL Database CDC-källanslutningsappen för Microsoft Fabric-händelseströmmar kan du samla in en ögonblicksbild av aktuella data i en Azure SQL-databas. Anslutningsappen övervakar och registrerar eventuella framtida ändringar på radnivå av dessa data. När ändringarna har registrerats i händelseströmmen kan du bearbeta CDC-data i realtid och skicka dem till olika mål i Infrastrukturresurser för vidare bearbetning eller analys.

Förutsättningar

• Åtkomst till en arbetsyta i Fabric-kapacitetslicensläget eller utvärderingslicensläget med deltagarbehörighet eller högre.
• En Azure SQL-server som körs med en Azure SQL-databas.
• Din Azure SQL-databas bör vara offentligt tillgänglig och inte vara bakom en brandvägg eller skyddas i ett virtuellt nätverk. Om det finns i ett skyddat nätverk ansluter du till det med hjälp av den virtuella nätverksinmatningen för Eventstream Connector.
• Aktiverade CDC i din Azure SQL-databas genom att köra den lagrade proceduren sys.sp_cdc_enable_db. Mer information finns i Aktivera och inaktivera insamling av ändringsdata.

Aktivera CDC i din Azure SQL Database

1. Gå till Azure Portal, öppna Din Azure SQL-databas och välj Frågeredigeraren. Välj en autentiseringsmetod för att logga in.

   

2. Kör följande SQL-kommandon för att aktivera CDC i databasen:

   -- Enable Database for CDC
   EXEC sys.sp_cdc_enable_db;
   
   -- Enable CDC for a table using a gating role option
   EXEC sys.sp_cdc_enable_table
       @source_schema = N'dbo',
       @source_name   = N'MyTable',
       @role_name     = NULL
   GO
   

Datakällor-sidan

1. Logga in på Microsoft Fabric.

2. Om du ser Power BI- längst ned till vänster på sidan växlar du till arbetsbelastningen Fabric genom att välja Power BI och sedan välja Fabric.

   

3. Välj Realtid i det vänstra navigeringsfältet.

   

4. Sidan Strömmande data öppnas som standard. Klicka på knappen Lägg till data för att komma till sidan Datakällor .

   

   Du kan också komma till sidan Datakällor direkt genom att välja alternativet Lägg till data i det vänstra navigeringsfältet.

   

4. På sidan Datakällor väljer du Kategorin Microsoft-källor överst och väljer sedan Anslut på panelen Azure SQL DB (CDC).

   

   Använd instruktioner från avsnittet Anslut till en Azure SQL Database CDC-källa .

Ansluta till en Azure SQL Database CDC-källa

Mata in ändringsdata från Azure SQL-databaser med automatisk tabellschemaregistrering via CDC till Eventstream.

1. På sidan Anslut väljer du Ny anslutning.

   

2. I avsnittet Anslutningsinställningar anger du följande värden för din Azure SQL-databas:

   • Server: Ange Azure SQL-servernamnet från Azure Portal. Det är i det här formatet: mysqlservername.database.windows.net.

   • Databas: Ange Namnet på Azure SQL-databasen från Azure Portal.

     

3. Rulla nedåt och följ de här stegen i avsnittet Anslutningsautentiseringsuppgifter .

   • Som Anslutningsnamn anger du ett namn för anslutningen.

   • För Typ av autentisering väljer du Grundläggande.

     Kommentar

     För närvarande stöder Fabric Eventstream endast grundläggande autentisering.

   • Ange användarnamn och lösenord för databasen.

4. Välj Anslut.

   

5. På sidan Anslut väljer du Nu Alla tabeller eller Ange tabellnamn. Om du väljer det senare anger du tabeller med hjälp av en kommaavgränsad lista med fullständiga tabellidentifierare (schemaName.tableName) eller giltiga reguljära uttryck. Som exempel:

   • Använd dbo.test.* för att välja alla tabeller vars namn börjar med dbo.test.
   • Använd dbo\.(test1|test2) för att välja dbo.test1 och dbo.test2.

   Du kan blanda båda formaten med kommatecken. Den totala teckengränsen för hela posten är 102 400 tecken.

6. Du kan expandera Avancerade inställningar för att få åtkomst till fler konfigurationsalternativ för Azure SQL Database CDC-källan:

   • Decimalhanteringsläge: Definierar hur anslutningsappen hanterar DECIMAL och NUMERIC kolumnvärden:
     • Precise: Representerar värden med exakta decimaltyper (till exempel Java BigDecimal) för att säkerställa fullständig precision och noggrannhet i datarepresentationen.
     • Double: Konverterar värden till flyttal med dubbel precision. Den här inställningen förbättrar användbarhet och prestanda, men kan leda till att precisionen går förlorad.
     • String: Kodar värden som formaterade strängar. Den här inställningen gör det enkelt att använda i underordnade system men förlorar semantisk information om den ursprungliga numeriska typen.
   • Läge för ögonblicksbild: Ange kriterier för att utföra en ögonblicksbild när anslutningen startar:
     • Initial: Anslutningsappen kör endast en ögonblicksbild när inga förskjutningar har registrerats för det logiska servernamnet, eller om den upptäcker att en tidigare ögonblicksbild inte kunde slutföras. När ögonblicksbilden är klar börjar anslutningen strömma händelsedata för kommande databasändringar.
     • InitialOnly: Kopplaren kör endast en ögonblicksbild när inga offsetvärden har registrerats för det logiska servernamnet. När ögonblicksbilden är klar, stoppas anslutningen. Det övergår inte till direktuppspelning för att läsa ändringshändelser från binlog.
     • NoData: Anslutningsappen kör en ögonblicksbild som endast avbildar schemat, men inte några tabelldata. Ange det här alternativet om du inte behöver en konsekvent ögonblicksbild av data, men du bara behöver ändringarna som sker sedan anslutningsappen startar.
   • Kolumnexkluderingslista: Anger kolumner som ska undantas från ändringshändelsevärden med fullständigt kvalificerade namn (schemaName.tableName.columnName).
   • DatabasprogramIntent: Avgör routningsbeteendet i SQL Server AlwaysOn-tillgänglighetsgrupper:
     • ReadWrite: Ansluter till primär replika. Använd det här alternativet om anslutningen behöver utföra både läs- och skrivåtgärder.
     • ReadOnly: Tillåter routning till en läsbar sekundär replik för skrivskyddade operationer. Använd den för att aktivera CDC direkt på repliker. Det kräver angivande av snapshot.isolation.mode till snapshot, vilket är det enda transaktionsisoleringsläge som stöds för skrivskyddade repliker.
   • Åsidosättning av instruktion för ögonblicksbildsval: Använd egenskapen om du vill att en ögonblicksbild endast ska innehålla en delmängd av raderna i en tabell. Den här egenskapen påverkar endast ögonblicksbilder. Det gäller inte händelser som anslutningsappen läser från loggen.

Ström eller källdetaljer

1. På sidan Anslut följer du något av dessa steg baserat på om du använder Eventstream eller Real-Time hubb.

   • Eventstream:

     Följ dessa steg i fönstret Källinformation till höger:

     1. För Källnamn väljer du Pennan-knappen för att ändra namnet.

     2. Observera att Eventstream-namnet och Stream-namnet är skrivskyddade.

   • Real-Time Hub:

     I avsnittet Stream-information till höger följer du dessa steg:

     1. Välj Fabric-arbetsyta där du vill skapa händelseströmmen.

     2. För Eventstream-namn väljer du knappen Penna och anger ett namn för händelseströmmen.

     3. Stream-namnvärdet genereras automatiskt åt dig genom att lägga till -stream till namnet på händelseströmmen. Den här strömmen visas på sidan Alla dataströmmar i realtidshubben när guiden är klar.

2. Välj Nästa längst ned på sidan Konfigurera .

Granska och ansluta

På skärmen Granska + anslut granskar du sammanfattningen och väljer Lägg till (Eventstream) eller Anslut (Real-Time hubb).

Sidan Schemahantering

1. På sidan Schemahantering väljer du något av följande alternativ:

   • Analysklara händelser och automatiskt uppdaterat schema (DeltaFlow Preview): Anslutningsappen omvandlar råa CDC-händelser till analysklara strömmar som speglar källtabellstrukturen. DeltaFlow berikar händelser med metadata, till exempel ändringstyp (infoga, uppdatera eller ta bort) och tidsstämplar, och hanterar automatiskt måltabeller och schemautveckling.
   • Raw CDC-händelser: Kopplingen tar in och gör råa CDC-händelser tillgängliga. Om du vill kan anslutningsappen automatiskt identifiera tabellscheman och registrera dem i schemaregistret. Använd det här alternativet om du vill ha schemamedvetenhet utan DeltaFlow-transformering.

   Kommentar

   Följande skärmbild visar Azure SQL Database CDC. Alternativen för schemahantering är desamma för alla CDC-källanslutningar som stöds.

   

2. Aktivera händelseschemaassociation.

3. För Arbetsyta väljer du en Fabric-arbetsyta för schemauppsättningen.

4. För Schemauppsättning är + Skapa valt som standard, vilket skapar en ny schemauppsättning. Du kan ändra den för att välja en befintlig händelseschemauppsättning.

5. Om du valde alternativet + Skapa i föregående steg anger du ett namn för schemauppsättningen.

6. På sidan Granska + anslut väljer du Lägg till (Eventstream) eller anslut (Real-Time hub).

   

   För alla tabeller eller valda tabeller i Azure SQL-databasen kan anslutningsappen automatiskt identifiera och skapa scheman och registrera dem med schemaregistret.

7. Välj noden eventstream i mitten och växla till fliken Associerade scheman i det nedre fönstret.

   

Schemauppsättning

1. Gå till den arbetsyta som du valde i föregående steg. I följande exempel är det Min arbetsyta.

2. Välj den schemauppsättning som azure SQL Database-anslutningsappen (CDC) skapade.

   

3. Du ser scheman i schemauppsättningen enligt följande bild.

   

4. Om du vill se JSON-versionen av schemat växlar du till JSON-schemavyn .

   

   Ändra inte dessa identifierade scheman med den här redigeraren eftersom det blir icke-konfirmant med schemat för tabeller i Azure SQL-databaskällan.

DeltaFlow: Analysklar händelsetransformering (förhandsversion)

När du aktiverar analysklara händelser och automatiskt uppdaterat schema (DeltaFlow) tillhandahåller anslutningsappen följande funktioner:

• Analysklar händelseform: Raw Debezium CDC-händelser omvandlas till ett tabellformat som speglar källtabellstrukturen. Händelser berikas med metadatakolumner, inklusive ändringstypen (insert, updateeller delete) och händelsetidsstämpeln.

• Automatisk hantering av måltabeller: När du dirigerar DeltaFlow-aktiverade strömmar till ett mål som stöds, till exempel ett händelsehus, skapas måltabeller automatiskt för att matcha källtabellschemat. Du behöver inte skapa eller konfigurera måltabeller manuellt.

• Schemautvecklingshantering: När källdatabastabeller ändras (till exempel läggs nya kolumner till eller tabeller skapas) identifierar DeltaFlow automatiskt ändringarna, uppdaterar de registrerade schemana och justerar måltabellerna därefter. Det här alternativet minimerar manuella åtgärder som orsakas av schemaändringar.

  

Mer information om hur DeltaFlow omvandlar råa CDC-händelser till analysklara utdata, inklusive åtgärdstyper och metadatakolumner, finns i DeltaFlow-utdatatransformering.

Visa information om dataström

1. På sidan Granska + anslut, om du väljer Öppna händelseström, öppnar guiden den händelseström som den skapade åt dig med den valda Azure SQL Database CDC som källa. Stäng guiden genom att välja Slutför längst ned på sidan.

   

2. Du bör se strömmande data i avsnittet Senaste strömmande data på startsidan förReal-Time-hubben. Detaljerade steg finns i Se information om dataströmmar i Fabric Real-Time Hub.

Relaterat innehåll

Mer information om hur du använder dataströmmar finns i följande artiklar:

• Bearbeta dataströmmar
• Analysera dataströmmar
• Ange aviseringar för dataströmmar