Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Azure Synapse Link biedt meerdere manieren om uw gegevens te schrijven en te lezen voor verschillende analytische scenario's. Afhankelijk van uw analytische scenario kunt u een specifieke configuratie kiezen uit de onderstaande opties.
| Scenario | Geldt voor | Beschikbare configuratieopties |
|---|---|---|
| Operationele rapporteren | Microsoft Dataverse-tabellen, financiële en operationele tabellen en entiteiten. | De optie Synapse Analytics met Delta Lake biedt betere queryresponstijden, wat vooral van toepassing is bij het opvragen van grote hoeveelheden gegevens. Meer informatie: Synapse Link met de optie Delta Lake |
| Operationele rapporteren | Alleen Dataverse-tabellen. | Synapse Link met de configuratieoptie 'In place update' biedt CSV-bestanden in uw data lake die bijna in realtime worden bijgewerkt. Dit is een oude optie die beschikbaar is voor Dataverse-tabellen. Deze optie wordt niet ondersteund voor tabellen uit financiële en operationele apps. |
| Gegevensintegratie | Dataverse-tabellen en financiële en operationele tabellen en entiteiten. | Met de optie Alleen toevoegen worden CSV-bestanden verschaft die incrementele gegevens bevatten. U kunt pijplijnen bouwen die incrementele gegevens verbruiken en downstream-systemen vullen Met de functie Door gebruiker opgegeven gegevenspartitie kunt u een aangepaste gegevenspartitiestrategie kiezen, specifiek voor Dataverse-tabellen. Gegevens uit financiële en operationele tabellen worden door het systeem gepartitioneerd op basis van een geschikte partitiestrategie. Deze optie is niet beschikbaar voor financiële en operationele apps. |
Opmerking
Azure Synapse Link voor Dataverse werd voorheen export naar data lake genoemd. Microsoft heeft de naam van de service in mei 2021 gewijzigd. De service blijft gegevens exporteren naar Azure Data Lake Storage en Azure Synapse Analytics. Vanaf september 2023 kunt u met Azure Synapse Link ook gegevens kiezen uit Dynamics 365 financiële en operationele toepassingen. Niet alle integratiepatronen worden ondersteund door apps voor financiën en bedrijfsactiviteiten. Ga naar de Transition guide voor instructies over de overgang van de exportfunctie naar de Data Lake-functie in financiële en operationele apps naar Synapse Link.
In dit artikel worden geavanceerde configuratie-instellingen beschreven die beschikbaar zijn voor Dataverse-tabellen. Deze opties zijn niet beschikbaar voor apps voor financiën en bedrijfsactiviteiten.
- Updates ter plaatse versus alleen-toevoegen schrijfbewerkingen.
- Door de gebruiker opgegeven gegevenspartitionering.
In-place updates versus alleen-toevoegen-schrijfbewerkingen
Tijdens het schrijven van Dataverse-tabelgegevens naar de Azure data lake, op basis van de waarde createdOn, de datum en tijd waarop de record is gemaakt, zijn er twee verschillende instellingen waaruit u kunt kiezen. Dit zijn In-place update en Alleen toevoegen.
De standaardinstelling (voor tabellen waarbij createdOn beschikbaar is) is om een in-place update of upsert (bijwerken of invoegen) van de incrementele gegevens op de bestemming uit te voeren. Als de wijziging nieuw is en er geen overeenkomstige rij in het lake bestaat, worden in het geval van een maakbewerking de doelbestanden gescand en worden de wijzigingen ingevoegd in de overeenkomstige bestandspartitie in het lake. Als de wijziging een update is en er een rij in het lake bestaat, wordt het overeenkomstige bestand in het lake bijgewerkt met de incrementele gegevens in plaats van ingevoegd. Met andere woorden, de standaardinstelling voor alle CUD-wijzigingen (maken, bijwerken, verwijderen) in Dataverse-tabellen, waar createdOn beschikbaar is, is om een in-place update uit te voeren in de bestemming in Azure Data Lake.
U kunt het standaardgedrag van een in-place update wijzigen met behulp van een optionele instelling genaamd Alleen toevoegen. In plaats van een in-place update in de modus Alleen toevoegen worden incrementele gegevens uit Dataverse-tabellen toegevoegd aan de overeenkomende bestandspartitie in de lake. Dit is een instelling per tabel die beschikbaar is als selectievakje onder Geavanceerd>Geavanceerde configuratie-instellingen weergeven. Voor Dataverse-tabellen met waarvoor Alleen toevoegen is ingeschakeld, worden alle CUD-wijzigingen incrementeel toegevoegd aan de overeenkomende bestemmingsbestanden in de lake. Als u deze optie kiest, wordt de partitiestrategie standaard ingesteld op Jaar en wanneer gegevens naar het data lake worden geschreven, worden deze op jaarbasis gepartitioneerd.
Alleen toevoegen is ook de standaardinstelling voor Dataverse-tabellen waarvoor de waarde createdOn niet is ingesteld.
In deze tabel wordt beschreven hoe rijen in de lake worden verwerkt ten aanzien van CUD-gebeurtenissen voor elke schrijfoptie van gegevens.
| Gebeurtenis | In-place update | Alleen toevoegen |
|---|---|---|
| Create | De rij wordt in het partitiebestand ingevoegd en is gebaseerd op de waarde van createdOn voor de rij. |
De rij wordt aan het einde van het partitiebestand toegevoegd en is gebaseerd op de waarde van createdOn van de record. |
| Update | Als de rij in het partitiebestand bestaat, wordt deze vervangen of bijgewerkt met bijgewerkte gegevens. Bestaat deze niet, dan wordt deze in het bestand ingevoegd. | De rij wordt met de bijgewerkte versie toegevoegd aan het einde van het partitiebestand. |
| Delete | Als de rij in het partitiebestand bestaat, wordt deze uit het bestand verwijderd. | De rij wordt aan het einde van het partitiebestand toegevoegd met IsDelete column = True. |
Opmerking
Voor Dataverse-tabellen waarvoor Alleen toevoegen is ingeschakeld, wordt de rij in de data lake niet verwijderd wanneer een rij in de bron wordt verwijderd. In plaats daarvan wordt de verwijderde rij toegevoegd als een nieuwe rij in de lake en wordt de kolom isDeleted ingesteld op True.
'Dirty' leesbewerking (ALLOW_INCONSISTENT_READS) voor serverloos is ingeschakeld voor de modus Alleen toevoegen.
ALLOW_INCONSISTENT_READS betekent dat de gebruiker de bestanden kan lezen die voortdurend kunnen worden gewijzigd terwijl de query SELECT wordt uitgevoerd. Resultaten zijn consistent en gelijkwaardig aan het lezen van een momentopname van het bestand. (Dit staat niet gelijk aan de isolatie van databasemomentopnamen vanwege de verschillende tijden voor het genereren van momentopnamen.)
Niet alle CUD-wijzigingen worden alleen vastgelegd in toevoegbewerkingen: De Synapse Link verwerkt wijzigingen in gegevens in groepen of 'batches' voordat ze naar de data lake worden gepubliceerd. Als de gebruiker dus binnen een kort tijdsinterval wijzigingen aanbrengt, worden niet alle CUD-wijzigingen vastgelegd in de data lake.
Hier zijn wat meer details over wanneer u een van de opties moet gebruiken.
In place update (verouderd): deze optie is de standaardinstelling en wordt alleen aanbevolen als u rechtstreeks verbinding wilt maken met de gegevens in Lake en de huidige status nodig hebt (geen geschiedenis of incrementele wijzigingen). Het bestand bevat de volledige gegevensset en kan worden gebruikt via Power BI of door de volledige gegevensset voor ETL-pijplijnen (extraheren, overdragen, laden) te kopiëren.
Belangrijk
Bijwerken ter plaatse is een verouderde modus en schaalt niet goed met grote gegevensvolumes of wanneer wijzigingen vaak voorkomen. Als uw tabel een grote hoeveelheid gegevens bevat of een hoge snelheid ondervindt bij het maken, bijwerken of verwijderen, gebruikt u In plaats daarvan Toevoeg alleen om een betrouwbare en goed presterende gegevensexport te garanderen.
Alleen toevoegen: selecteer deze optie als u niet rechtstreeks verbinding maakt met gegevens in de lake en gegevens stapsgewijs naar een ander doel wilt kopiëren met behulp van ETL-pijplijnen. Deze optie biedt een geschiedenis van wijzigingen om AI- en ML-scenario's mogelijk te maken. Dit is de aanbevolen optie voor tabellen met grote gegevensvolumes of frequente gegevenswijzigingen.
U kunt de Geavanceerde configuratie-instellingen weergeven onder Geavanceerd in Azure Synapse Link voor Dataverse schakelen om uw strategie voor gegevenspartitie aan te passen en opties te selecteren om naar de Azure Data Lake te schrijven.
Gegevenspartitionering
Wanneer u Dataverse-tabelgegevens naar Azure Data Lake Storage schrijft met behulp van Azure Synapse Link, worden de tabellen gepartitioneerd in het lake op basis van de createdOn waarde op elke rij in de bron. De standaardpartitiestrategie is per maand, dus gegevens worden maandelijks gepartitioneerd in Azure Data Lake.
Gebaseerd op tabelvolume en gegevensdistributie in Dataverse kunt u ervoor kiezen om uw gegevens per jaar te partitioneren. Als met deze optie gegevens uit de Dataverse-tabel naar de Azure Data Lake worden geschreven, worden deze jaarlijks gepartitioneerd op basis van de createdOn waarde op elke rij in de bron. Voor tabellen zonder de kolom createdOn worden de rijen met gegevens elke 5.000.000 records gepartitioneerd in een nieuw bestand. Dit is een instelling per tabel die beschikbaar is als selectievakje onder Geavanceerd>Geavanceerde configuratie-instellingen weergeven.
Hier volgen voorbeelden van hoe gegevens in het meer kunnen worden verwerkt met een strategie voor jaarlijkse of maandelijkse partities.
