Een Azure Synapse Link maken voor Dataverse met Azure Data Lake

U kunt met behulp van de Azure Synapse Link uw Microsoft Dataverse-gegevens verbinden met Azure Data Lake Storage Gen2 om verschillende analysescenario's mogelijk te maken. In dit artikel wordt beschreven hoe u de volgende taken kunt uitvoeren:

  1. Verbind uw Dataverse-gegevens met uw Azure Data Lake Storage Gen2-account met de Azure Synapse Link-service.
  2. Beheer Dataverse-tabellen die zijn inbegrepen in de Azure Synapse Link.
  3. Bewaak uw Azure Synapse Link.
  4. Ontkoppel uw Azure-Synapse Link.
  5. Koppel uw Azure Synapse Link opnieuw.
  6. Bekijk uw gegevens in Azure Data Lake en begrijp de bestandsstructuur.

Opmerking

Azure Synapse Link voor Dataverse werd voorheen Exporteren naar Data Lake genoemd. De service is met ingang van mei 2021 hernoemd en gaat door met het exporteren van gegevens naar Azure Data Lake en Azure Synapse Analytics.

Vereiste voorwaarden

  • Azure Data Lake Storage Gen2: U moet beschikken over een Azure Data Lake Storage Gen2-account en Owner en Storage Blob Data Contributor roltoegang. Uw opslagaccount moet hiërarchische naamruimte inschakelen voor zowel de initiële installatie als deltasynchronisatie. Sleuteltoegang tot het opslagaccount toestaan is alleen vereist voor de initiële installatie. Voor uw opslagaccount moet het toegestane bereik voor kopieerbewerkingen zijn ingesteld op Van elk opslagaccount.

Opmerking

  • De opslagaccount moet worden gemaakt in dezelfde Microsoft Entra-tenant als uw Power Apps-tenant.
  • Om Ingeschakeld vanaf geselecteerde virtuele netwerken en IP-adressen in te stellen voor een gekoppeld opslagaccount om toegang te verlenen vanaf geselecteerde IP-adressen, moet u een Azure Synapse Link met beheerde identiteiten maken.Gebruik beheerde identiteiten voor Azure met uw Azure data lake storage (als beheerde identiteiten niet zijn ingesteld, moet u openbare netwerktoegang inschakelen voor Azure-resources voor zowel de eerste installatie als de deltasynchronisatie.)
  • Wij raden u ten zeerste aan om de functie voor voorlopig verwijderen in te schakelen op het opslagaccount dat u voor dit doel hebt geselecteerd. Door soft delete in te schakelen, kunt u sneller herstellen van per ongeluk verwijderde gegevens.
  • U moet toegang hebben met de rol Lezer tot de resourcegroep met het opslagaccount.
  • Als u de omgeving wilt koppelen aan Azure Data Lake Storage Gen2, moet u over de beveiligingsrol Dataverse-systeembeheerder beschikken.
  • Alleen tabellen waarvoor wijzigingen bijhouden is ingeschakeld, kunnen worden geëxporteerd.
  • Het aanmaken van Azure Synapse Link-profielen binnen één Dataverse omgeving is beperkt tot maximaal 10.

Dataverse verbinden met Azure Data Lake Storage Gen2

  1. Meld u aan bij Power Apps en selecteer uw voorkeursomgeving.

  2. Selecteer Azure Synapse Link in het linkernavigatievenster. Als Azure Synapse Link niet zichtbaar is in het zijpaneel, selecteert u ... Meer en selecteer Alles ontdekken. Azure Synapse Link bevindt zich in de sectie Gegevensbeheer.

  3. Selecteer + Nieuwe koppeling naar data lake op de opdrachtbalk.

  4. Selecteer Abonnement, Resourcegroep en Opslagaccount. Zorg ervoor dat de opslagaccount voldoet aan de vereisten die zijn opgegeven in de sectie Vereisten. Selecteer Volgende.

    Opmerking

    Als onderdeel van het koppelen van de omgeving aan een data lake, verleent u de Azure Synapse Link-service toegang tot uw opslagaccount. Zorg ervoor dat u voldoet aan de voorwaarden voor het maken en configureren van het Azure Data Lake Storage-account en het toekennen van een eigenaarrol voor het opslagaccount aan uzelf. Bovendien verleent u de Power Platform Dataflows-service toegang tot uw opslagaccount. Meer informatie: Self-service gegevensvoorbereiding met gegevensstromen.

  5. Selecteer de tabellen die u wilt exporteren door ze één voor één te selecteren of door een door komma's gescheiden lijst met tabellen in te voeren in het zoekvak en selecteer vervolgens Opslaan. Alleen tabellen waarvoor de eigenschap Wijzigingen bijhouden is ingeschakeld, kunnen worden geëxporteerd. Meer informatie: Geavanceerde opties voor tabellen.

    Tabellen selecteren voor export.

U kunt de stappen in dit artikel volgen om een koppeling te maken van één omgeving naar meerdere Azure-data lakes in uw Azure-abonnement. Op dezelfde manier kunt u een koppeling maken van meerdere omgevingen naar dezelfde Azure Data Lake, allemaal binnen dezelfde tenant.

Opmerking

De service Azure Synapse Link voor Dataverse is naadloos geïntegreerd in het Power Platform als een kant-en-klare functie. Het voldoet aan de beveiligings- en governancenormen die zijn vastgesteld voor de gegevensopslag en het beheer van Power Platform. Meer informatie: Gegevensopslag en -governance

De gegevens die door de Azure Synapse Link-service worden geëxporteerd, zijn tijdens overdracht versleuteld met Transport Layer Security (TLS) 1.2 of hoger en versleuteld op locatie in Azure Data Lake Storage Gen2. Bovendien worden tijdelijke gegevens in de Blob Storage ook 'at rest' versleuteld. Versleuteling in Azure Data Lake Storage Gen2 helpt u bij het beveiligen van uw gegevens, het implementeren van beveiligingsbeleid voor ondernemingen en het voldoen aan wettelijke nalevingsvereisten. Zie Azure Data Encryption-at-Rest voor meer informatie.

Tabelgegevens beheren voor het data lake

Nadat u de Azure Synapse Link hebt ingesteld, kunt u de tabellen die worden geëxporteerd op twee manieren beheren.

  • Selecteer in het Azure Synapse Link-gebied van de Power Apps Maker Portal Tabellen beheren op de opdrachtbalk om een of meer gekoppelde tabellen toe te voegen of te verwijderen.

  • Selecteer in Power Apps Maker Portal in het gebied Tabellen de optie … naast een tabel en selecteer vervolgens het gekoppelde data lake waarnaar u tabelgegevens wilt exporteren.

    Een tabel selecteren voor export.

Nadat u de Azure Synapse Link hebt ingesteld, kunt u de Azure Synapse Link onder het tabblad Tabellen in de gaten houden.

Azure Synapse Link-monitoring

  • Er wordt een lijst met tabellen weergegeven die deel uitmaken van de geselecteerde Azure-Synapse Link.
  • De synchronisatiestatus doorloopt verschillende stadia. NotStarted betekent dat de tabel in afwachting van synchronisatie is. Nadat de initiële synchronisatie van de tabel is voltooid, is er een naverwerkingsfase waarin geen incrementele updates plaatsvinden. Dit kan enkel uren duren, afhankelijk van de omvang van uw gegevens. Wanneer de incrementele updates weer plaatsvinden, wordt de datum voor de laatste synchronisatie regelmatig bijgewerkt.
  • De kolom Aantal bevat het aantal rijen dat is geschreven. Wanneer Alleen toevoegen is ingesteld op Nee, is dit het totaal aantal records. Wanneer Alleen toevoegen is ingesteld op Ja, is dit het totaal aantal wijzigingen.
  • De kolommen Alleen toevoegen en Partitiestrategie tonen het gebruik van verschillende geavanceerde configuraties.

  1. Selecteer de Azure Synapse Link om de koppeling op te heffen.

  2. Selecteer Data lake ontkoppelen op de opdrachtbalk.

  3. Om beide bestandssystemen van het data lake te verwijderen, selecteert u Bestandssysteem voor data lake verwijderen.

  4. Selecteer Ja, en wacht een paar minuten totdat alles is ontkoppeld en verwijderd.

Als u het bestandssysteem hebt verwijderd bij het ontkoppelen, volgt u de voorgaande stappen om dezelfde Data Lake opnieuw te koppelen. Als u het bestandssysteem niet hebt verwijderd bij het ontkoppelen, moet u de gegevens wissen om opnieuw te koppelen:

  1. Ga naar Azure Data Lake.

  2. Verwijder de Dataverse-container.

  3. Ga naar Power Apps en koppel het data lake opnieuw.

Uw gegevens in Azure Data Lake Storage Gen2 bekijken

  1. Selecteer de gewenste Azure Synapse Link en selecteer Ga naar Azure Data Lake in het bovenste deelvenster.

  2. Vouw Bestandssystemen uit en selecteer dataverse-environmentName-organizationUniqueName.

Het bestand model.json biedt naast de naam en versie, ook een lijst met tabellen die naar het data lake zijn geëxporteerd. Het bestand model.json bevat ook de initiële synchronisatiestatus en voltooide tijd.

Een map met door komma's gescheiden momentopnamebestanden (CSV-indeling) wordt weergegeven voor elke tabel die naar het data lake wordt geëxporteerd. Tabelgegevens in de data lake.

  1. Voeg in de adresbalk van een webbrowser toe aan ?athena.updateLake=true het webadres dat eindigt op exporttodatalake.

  2. Selecteer een bestaand profiel in het gedeelte Azure Synapse Link en selecteer vervolgens de uitgebreide optie.

  3. Selecteer Koppelen aan Azure Synapse Analytics workspace en wacht een paar minuten totdat alles is gekoppeld.

Voortdurende snapshot-updates

Microsoft Dataverse-gegevens kunnen continu veranderen door transacties te maken, bij te werken en te verwijderen. Snapshots bieden een alleen-lezen kopie van gegevens die op regelmatige tijdstippen worden bijgewerkt, in dit geval elk uur. Dit zorgt ervoor dat een gebruiker van gegevensanalyse op elk willekeurig moment betrouwbare gegevens in het data lake kan consumeren.

Voortdurende momentopnamen-updates.

Wanneer tabellen worden toegevoegd als onderdeel van de eerste export, worden de tabelgegevens weggeschreven naar de table.csv-bestanden onder de overeenkomstige mappen in het data lake. Dit is het T1-interval, waarbij een momentopnamebestand met de naam tabel-T1.csv—bijvoorbeeld Account-T1.csv of Contacts-T1.csv—wordt gemaakt. Bovendien wordt het bestand model.json bijgewerkt om naar deze snapshotbestanden te verwijzen. Als u model.json opent, kunt u de snapshotdetails bekijken.

Hier is een voorbeeld van het gepartitioneerde Account.csv-bestand en een snapshotmap in het gegevensmeer.

Momentopname van accounttabel.

Veranderingen in Dataverse worden voortdurend naar de bijbehorende CSV-bestanden doorgestuurd met behulp van de trickle feed-engine. Dit is het T2-interval, waar nog een snapshot wordt gemaakt. De bestanden tabel-T2.csv—bijvoorbeeld Accounts-T2.csv of Contacts-T2.csv (ervan uitgaande dat er wijzigingen zijn voor de tabel)— en model.json worden bijgewerkt naar de nieuwe momentopnamebestanden. Elke nieuwe persoon die snapshotgegevens vanaf T2 bekijkt, wordt omgeleid naar de nieuwere snapshotbestanden. Op deze manier kan de eerste snapshotgebruiker blijven werken aan de oudere T1-snapshotbestanden, terwijl nieuwere gebruikers de nieuwste updates kunnen lezen. Dit is handig in scenario's met langer lopende processen.

Opmerking

  • Er wordt alleen een nieuw momentopnamebestand gemaakt wanneer er een gegevensupdate is.
  • Alleen de laatste vijf momentopnamebestanden worden bewaard. Stilstaande gegevens worden automatisch uit uw Azure Data Lake Storage Gen 2-account verwijderd.

Hier is een voorbeeld van het bestand model.json, dat altijd verwijst naar het laatste snapshotbestand van het account met tijdstempel.

Voorbeeld van het momentopnamebestand model.json.

Wat is de volgende stap?

Nadat u de Azure Synapse Link voor dataverse-service hebt gebruikt, ontdekt u hoe u uw gegevens kunt analyseren en gebruiken met Discover Hub. Voor toegang tot Discover Hub gaat u naar Power Apps>Azure Synapse Link. Selecteer uw gekoppelde service en selecteer vervolgens het tabblad Detectiehub. Hier vindt u aanbevolen tools en samengestelde documentatie om u te helpen de meeste waarde uit uw gegevens te halen. Ontdekhub.

Zie ook

Dataverse-gegevens analyseren in de Data Lake met Power BI

Dataverse-gegevens opnemen in de Data Lake met Azure Data Factory

Azure-Synapse Link voor Geavanceerde configuratie van Dataverse

Veelgestelde vragen over Azure Synapse Link

  • Last updated on