Avancerade konfigurationsalternativ i Azure Synapse Link

Azure Synapse Link erbjuder flera sätt att skriva och läsa dina data så att de passar olika analysscenarier. Beroende på ditt analysscenario kan du välja en specifik konfiguration bland alternativen nedan.

Scenario Gäller för Tillgängliga konfigurationsalternativ
Driftsrapportering Microsoft Dataverse-tabeller, ekonomi- och drifttabeller och entiteter. Synapse Analytics med alternativet Delta Lake ger bättre svarstider på sökfrågor, särskilt när det gäller att fråga stora mängder data. Mer information: Synapse Link med alternativet Delta lake
Driftsrapportering Endast dataverse tabeller. Synapse Link med konfigurationsalternativet "På plats uppdatera" tillhandahåller CSV-filer i din datasjö som uppdateras nästan i realtid.

Detta är ett äldre alternativ som finns tillgängligt för Dataverse-tabeller. Det här alternativet stöds inte för tabeller från ekonomi- och driftappar.
Dataintegrering Dataverse-tabeller och ekonomitabeller, driftstabeller och enheter. Tillägget ”Lägg endast till” innehåller CSV-filer som innehåller inkrementella data. Du kan skapa pipelines som använder inkrementella data och fylla i underordnade system

Funktionen Användardefinierad datapartition gör det möjligt att välja en anpassad strategi för datapartitionering specifikt för Dataverse-tabeller. Tabelldata för ekonomi och drift fördelas av systemet baserat på lämplig fördelningsstrategi. Det här alternativet är inte tillgängligt för ekonomi- och driftappar.

Anmärkning

Azure Synapse Link för Dataverse kallades tidigare Exportera till datasjö. Microsoft bytte namn på tjänsten i maj 2021. Tjänsten fortsätter att exportera data till Azure Data Lake Storage samt Azure Synapse Analytics. Från och med september 2023 gör Azure Synapse Link också att du kan välja data från Dynamics 365 ekonomi- och driftprogram. Alla integreringsmönster stöds inte med appar för ekonomi och drift. Information om hur du övergår från export till datasjöfunktion i ekonomi- och åtgärdsappar till Synapse Link finns i guiden Transition.

Den här artikeln beskriver avancerade konfigurationsinställningar som är tillgängliga för Dataverse-tabeller. Dessa alternativ är inte tillgängliga för appar för ekonomi och drift.

  1. Uppdateringar på plats kontra endast tillägg.
  2. Datapartitionering som anges av användaren.

Uppdateringar i samma plats kontra endast tilläggsskrivningar

När du skriver Dataverse-tabelldata till Azure datasjö, baserat på värdet createdOn, vilket är datum och tid när posten skapades, finns det två olika inställningar att välja mellan. De är: Uppdatering på plats och Endast tillägg.

Standardinställningen (för tabeller där createdOn finns tillgängligt) är att göra en uppdatering på plats eller en upsert (uppdatera eller infoga) av den inkrementella data i målplatsen. Om ändringen är ny och en motsvarande rad inte finns i sjön, och det är fråga om en skapelse, skannas målfilerna och ändringarna infogas i motsvarande filpartition i sjön. Om ändringen är en uppdatering och en rad finns i sjön, uppdateras motsvarande fil med inkrementella data i stället för att infogas. Med andra ord är standardinställningen för alla CUD-ändringar (skapa, uppdatera, ta bort) i Dataverse-tabeller, där createdOn är tillgänglig, att göra en direktuppdatering i målet, i Azure Data Lake.

Du kan ändra standardbeteendet för en lokal uppdatering genom att använda en inställning kallad endast tillägg. I stället för en Uppdatering på plats, i läget Bara tillägg, läggs inkrementella data från Dataverse till motsvarande filpartition i sjön. Detta är en inställning per tabell och finns tillgänglig som en kryssruta under Avancerat>Visa avancerade konfigurationsinställningar. För Dataverse-tabeller med inställningen Endast tillägg aktiverad läggs alla CUD-ändringar inkrementellt till motsvarande destinationsfiler i datalake. Om du väljer det här alternativet används År som standard för partitionsstrategin och när data skrivs till datalagringen partitioneras den baserat på årsvis. Endast tillägg är också standardinställningen för Dataverse tabeller som inte har något createdOn värde.

I denna tabell beskrivs hur rader hanteras i datassjön mot CUD-händelser för varje dataskrivningsalternativ.

Händelse Uppdatering på plats Endast tillägg
Create Raden infogas i partitionsfilen och baseras på createdOn värdet på raden. Raden läggs till i slutet av partitionsfilen och detta baseras på createdOn postens värde.
Update Om raden finns i partitionsfilen ersätts eller uppdateras den med uppdaterade data. Om den inte finns infogas den i filen. Raden, tillsammans med den uppdaterade versionen, läggs till i slutet av partitionsfilen.
Delete Om raden finns i partitionsfilen tas den bort från filen. Raden läggs till i slutet av partitionsfilen med IsDelete column = True.

Anmärkning

För Dataverse-tabeller där endast Tillägg är aktiverat tas inte raden i sjön bort om du tar bort en rad i källan. Den borttagna raden läggs i stället till som en ny rad i kolumnen och isDeleted kolumnen anges som Sant.

Oren läsning (ALLOW_INCONSISTENT_READS) för serverlös är aktiverad endast för läget "endast tillägg". ALLOW_INCONSISTENT_READS innebär att användaren kan läsa filerna som kan ändras kontinuerligt medan SELECT-frågan körs. Resultaten är konsekventa och motsvarar läsningen av en ögonblicksbild av filen. (Det motsvarar inte isoleringen av databasbild på grund av den olika tiden när ögonblicksbilden skapas.)

Alla CUD-ändringar registreras inte i bara lägg till: Synapse Link bearbetar ändringar i data i grupper eller "satser" innan de publiceras till datasjön. Om användaren gör ändringar inom ett kort tidsintervall registreras därför inte alla CUD-ändringar i datasjön.

Här är mer information om när du bör använda något av alternativen.

  • På platsuppdatering (äldre): Det här alternativet är standardinställningen och rekommenderas endast om du vill ansluta direkt till data i sjön och behöver det aktuella tillståndet (inte historik eller inkrementella ändringar). Filen innehåller den fullständiga datamängden och kan användas via Power BI eller genom att kopiera hela datauppsättningen för ETL-pipelines (Extrahera, Överföra, Läs in).

    Important

    På-plats-uppdatering är ett äldre läge och skalar inte bra med stora datamängder eller när ändringar är frekventa. Om din tabell har en stor mängd data eller upplever en hög hastighet av skapanden, uppdateringar eller borttagningar, använd Endast tillägg istället så att dataexport är tillförlitlig och högpresterande.

  • Endast tillägg: Välj det här alternativet om du inte är direkt ansluten till data i programmet och vill kopiera data inkrementellt till ett annat mål med hjälp av ETL-pipelines. Det här alternativet innehåller en historik över ändringar som gör det möjligt att aktivera AI- och ML-scenarier. Det här är det rekommenderade alternativet för tabeller med stora datavolymer eller frekventa dataändringar.

Du kan växla Visa avancerade konfigurationsinställningar under Avancerad i Azure Synapse Link för Dataverse för att anpassa datapartitionsstrategin och välja alternativ för att skriva till Azure datasjön.

Visa avancerad konfiguration.

Datapartitionering

När du skriver Dataverse-tabelldata till Azure Data Lake Storage med hjälp av Azure Synapse Link partitioneras tabellerna i sjön baserat på createdOn värdet på varje rad i källan. Standardstrategin för partitioner är per månad, så data partitioneras i Azure Data Lake varje månad.

Utifrån tabellen Dataverse volym och datadistribution kan du välja att partitionera data år för år. Med det här alternativet partitioneras data varje år baserat på createdOn värdet på varje rad i källan när Dataverse-tabelldata skrivs till Azure Data Lake. För tabeller utan kolumnen createdOn partitioneras dataraderna i en ny fil för varje fem miljoner poster. Detta är en inställning per tabell och finns tillgänglig som en kryssruta under Avancerat>Visa avancerade konfigurationsinställningar.

Här är exempel på hur data kan hanteras i sjön med en årlig eller månatlig partitionsstrategi.

Delningsstrategi.

Se även

Azure Synapse Link för Dataverse