Beslissingshandleiding voor Microsoft Fabric: Een strategie voor gegevensverplaatsing kiezen

Microsoft Fabric biedt verschillende manieren om gegevens naar het platform te brengen. Deze handleiding biedt u een duidelijke aanbeveling voor de meest voorkomende scenario's en biedt vervolgens gedetailleerde functievergelijkingen wanneer u dieper moet graven.

Snelle aanbeveling: Welke optie voor gegevensverplaatsing moet ik gebruiken?

Gebruik de medaillonarchitectuur als gids:

• Gold-gegevens (rapportage en analyse van verwerkte gegevens) - Mirroring gebruiken. Als u etl-verwerking al ergens anders hebt en voornamelijk gecureerde gegevens in Fabric moet brengen voor rapportage, is Spiegelen de eenvoudigste en meest rendabele keuze. Het is gratis, vereist minimale instellingen en repliceert uw gegevens continu naar OneLake.

• Bronsgegevens (onbewerkte opname) - Begin met de kopieertaak. Wanneer u onbewerkte gegevens opneemt, hebt u snel transformaties, schematoewijzing, planningsbeheer en incrementeel laden nodig. De kopieertaak biedt u deze mogelijkheden van nature, zonder de noodzaak om pijplijnen te bouwen.

• Realtime streaminggegevens - Eventstreams gebruiken. Voor lage latentie, gebeurtenisgestuurde opname en verwerking biedt Eventstreams realtime pijplijnen zonder codetransformaties en routering naar meerdere bestemmingen.

• Complexe indeling : pijplijnen bieden u de flexibiliteit van de indeling die u nodig hebt en kopieeractiviteiten in pijplijnen bieden gegevensobjectparameterisatie en gegevensopname op basis van metagegevens. Anders zijn de kopieertaakactiviteit en de kopieeractiviteit gelijkwaardig in een pijplijn.

Zie de gedetailleerde functievergelijking voor een volledige uitsplitsing van mogelijkheden en ondersteunde functies.

Belangrijke concepten

• Spiegeling biedt u een eenvoudige en gratis manier om operationele gegevens te spiegelen in Fabric voor analyse. Het is geoptimaliseerd voor gebruiksgemak met minimale configuratie en schrijft naar een enkele alleen-lezen bestemming in OneLake.

• Kopieeractiviteiten in pijplijnen zijn gebouwd voor gebruikers die georchestreerde, op pijplijnen gebaseerde gegevensopnamewerkstromen nodig hebben. U kunt deze uitgebreid aanpassen en transformatielogica toevoegen, maar u moet zelf pijplijnonderdelen definiëren en beheren, inclusief het bijhouden van de status van de laatste uitvoering voor incrementeel kopiëren.

• Kopiërentaak maakt gegevensopname eenvoudiger met native ondersteuning voor meerdere leveringsstijlen, waaronder bulksgewijze kopie, incrementele kopie en change data capture (CDC)-replicatie, zonder dat u pijplijnen hoeft te bouwen, terwijl u nog steeds toegang heeft tot vele geavanceerde opties. Het ondersteunt veel bronnen en bestemmingen en werkt goed als u meer controle wilt dan Spiegeling, maar minder complexiteit dan het beheren van pijplijnen met kopieeractiviteit.

• Eventstreams: ontworpen voor realtime opname, transformatie en verwerking van streaminggegevens. Ondersteunt pijplijnen met lage latentie, schemabeheer en routering naar bestemmingen zoals Eventhouse, Lakehouse, Activator en aangepaste eindpunten (AMQP, Kafka en HTTP-eindpunten).

Gedetailleerde functievergelijking

In de volgende tabellen worden de volledige mogelijkheden van elke optie voor gegevensverplaatsing vergeleken. Gebruik deze sectie wanneer u specifieke functies voor uw scenario moet evalueren.

Scenariën

Bekijk deze scenario's om u te helpen kiezen welke strategie voor gegevensverplaatsing het beste werkt voor uw behoeften.

Scenario 1

James is een financieel manager bij een verzekeringsmaatschappij. Zijn team gebruikt Azure SQL Database om beleidsgegevens, claims en klantgegevens bij te houden in meerdere bedrijfseenheden. Het leidinggevend team wil realtime dashboards maken voor het bewaken van bedrijfsprestaties, maar James kan analysequery's niet toestaan om de operationele systemen te vertragen die duizenden dagelijkse transacties verwerken.

James heeft al ETL-verwerking geïmplementeerd en zijn team heeft de verwerkte, goudlaaggegevens nodig die beschikbaar zijn in Fabric voor leidinggevende rapportage. Hij wil geen planning beheren, incrementele belastingen configureren of zich zorgen maken over tabelselectie. Hij heeft alles automatisch gespiegeld nodig. Omdat dit alleen bedoeld is voor rapportage, werkt het gebruik van de gegevens in een alleen-lezen indeling in OneLake perfect. De oplossing moet ook kosteneffectief zijn omdat deze uit zijn afdelingsbudget komt.

James kiest voor Spiegeling. Mirroring biedt de op CDC gebaseerde continue replicatie die hij nodig heeft en verwerkt automatisch alle tabellen zonder enige configuratie. De eenvoudige installatie betekent dat hij geen technische expertise nodig heeft en de gratis kosten passen bij zijn budget. De tabellaire indeling met het kenmerk Alleen-lezen in OneLake geeft zijn team de analysetoegang die ze nodig hebben zonder dat dit van invloed is op de operationele prestaties.

Scenario 2

Lisa is een bedrijfsanalist bij een logistiek bedrijf. Ze moet onbewerkte verzendgegevens van meerdere Snowflake-databases opnemen in Fabric Lakehouse-tabellen voor supply chain-analyse. De gegevens bevatten zowel historische records voor de initiële lading als nieuwe zendingen die gedurende de dag binnenkomen. Lisa wil dit proces volgens een aangepast schema uitvoeren - om de 4 uur tijdens kantooruren.

Omdat Lisa onbewerkte gegevens in bronslaag aanbrengt, weet ze dat ze snel transformaties, schematoewijzing en planningsbeheer nodig heeft. Ze moet specifieke tabellen selecteren uit elk Snowflake-exemplaar, kolommen toewijzen aan gestandaardiseerde namen en upsert-gedrag gebruiken om updates voor bestaande verzendingsrecords af te handelen. Ze wil ook geavanceerde bewaking om de prestaties van gegevenskwaliteit en -verwerking bij te houden.

Lisa selecteert Copy job. De kopieertaak biedt de aangepaste planning die ze nodig heeft, ondersteunt alle gegevensbronnen, waaronder Snowflake, en biedt de mogelijkheden voor tabel- en kolombeheer voor de opzet met meerdere regio's. Dankzij de systeemeigen ondersteuning voor incrementeel kopiëren met detectie op basis van watermerken en upsert-gedrag kan ze deze vereisten afhandelen zonder pijplijnen te bouwen.

Scenario 3

David is senior data engineer bij een telecommunicatiebedrijf. Hij bouwt een complexe werkstroom voor gegevensopname die klantgebruiksgegevens uit Oracle moet extraheren met behulp van aangepaste SQL-query's, bedrijfstransformaties moet toepassen en deze in meerdere bestemmingen moet laden, waaronder zowel Fabric Warehouse als externe systemen. De werkstroom moet ook coördineren met andere pijplijnactiviteiten, zoals gegevensvalidatie en meldingsstappen.

David heeft volledige controle over het kopieerproces nodig, inclusief de mogelijkheid om door de gebruiker gedefinieerde query's te gebruiken om tabellen samen te voegen en gegevens te filteren op de bron. Hij heeft geavanceerde en volledig aanpasbare configuratieopties nodig, voorspelbare prestaties voor grote gegevensvolumes en de mogelijkheid om het kopieerproces te integreren in bredere werkstromen voor pijplijnindeling met afhankelijkheden en foutafhandeling.

David beoordeelt de beschikbare opties en kiest Kopieeractiviteiten in pijplijnen. Deze benadering biedt hem de geavanceerde en volledig aanpasbare configuratie die hij nodig heeft, ondersteunt door de gebruiker gedefinieerde query's voor complexe gegevensextractie en biedt de indeling op basis van pijplijnen die vereist is voor zijn werkstroom. Dankzij de geavanceerde bewakings- en controlemogelijkheden kan hij het complexe proces bijhouden, terwijl het pijplijnframework hem de mogelijkheid biedt om kopieeractiviteiten te coördineren met andere stappen voor gegevensverwerking.

Scenario 4

Ash is een productmanager bij een telecombedrijf. Haar team moet metrische gegevens van de klantondersteuning bewaken, zoals oproepvolumes, wachttijden en agentprestaties, in realtime om ervoor te zorgen dat de SLA voldoet en de klanttevredenheid verbetert. De gegevens zijn afkomstig van meerdere operationele systemen, waaronder CRM-platforms, callcenterlogboeken en agenttoewijzingsdatabases, en komen de hele dag met hoge frequentie aan.

Ash gebruikt Fabric Eventstreams om deze gegevens in beweging op te nemen en te transformeren. Ze configureert streamingconnectors voor het ophalen van gegevens uit verschillende bronnen, past transformaties toe met behulp van de ervaring zonder code en stuurt de verwerkte gebeurtenissen naar Eventhouse voor realtime analyse. Ze integreert Data Activator om waarschuwingen en geautomatiseerde werkstromen te activeren wanneer de SLA-drempelwaarden worden overschreden, zodat ze meldingen naar supervisors kan verzenden of personeelsniveaus dynamisch kan aanpassen.

Het resultaat is een realtime dashboard dat binnen enkele seconden wordt bijgewerkt, waardoor ash's team inzicht heeft in metrische gegevens over liveprestaties en snelle, gegevensgestuurde beslissingen mogelijk maakt. Deze streamingarchitectuur elimineert de latentie van batchpijplijnen en stelt het bedrijf in staat om direct te reageren op de behoeften van de klant.

Get started

Nu u een idee hebt van welke strategie voor gegevensverplaatsing u wilt gebruiken, kunt u aan de slag met deze resources:

• Aan de slag met spiegelen
• Aan de slag met Eventstreams
• Een kopieeropdracht maken
• Een kopieeractiviteit maken