Beslutningsveiledning for Microsoft Fabric: Velg en strategi for dataflytting

Microsoft Fabric tilbyr flere måter å bringe data inn i plattformen på. Denne guiden gir deg en klar anbefaling for de vanligste scenarioene, og gir deretter detaljerte sammenligninger av funksjoner når du trenger å grave dypere.

Rask anbefaling: Hvilket dataflyttingsalternativ bør jeg bruke?

Bruk medaljongarkitekturen som din guide:

• Gulldata (rapportering og analyse av behandlede data) – Bruk speiling. Hvis du allerede har ETL-prosessering andre steder og hovedsakelig trenger å bringe kuraterte data inn i Fabric for rapportering, er speiling det enkleste og mest kostnadseffektive valget. Det er gratis, krever minimal oppsett, og replikerer kontinuerlig dataene dine i OneLake.

• Bronsedata (rå inntak) - Start med kopieringsjobb. Når du tar inn rådata, trenger du raskt transformasjoner, skjemakartlegging, planleggingskontroll og inkrementell lasting. Copy job gir deg disse mulighetene direkte uten kompleksiteten ved å bygge pipelines.

• Sanntidsstrømming av data – Bruk Eventstreams. For lav-latens, hendelsesdrevet inntasting og prosessering, tilbyr Eventstreams sanntidspipelines med kodefrie transformasjoner og ruting til flere destinasjoner.

• Kompleks orkestrering – Pipelines gir deg den orkestreringsfleksibiliteten du trenger, og kopieringsaktiviteter i pipelines tilbyr parameterisering av dataobjekter og metadatadrevet datainntak. Ellers er kopijobbaktivitet og kopiaktivitet rettferdige i en pipeline.

For en fullstendig side-ved-side oversikt over funksjoner og støttede funksjoner, se den detaljerte funksjonssammenligningen.

Nøkkelkonsepter

• Speiling gir deg en enkel og gratis måte å speile driftsdata i Fabric for analyse. Den er optimalisert for brukervennlighet med minimalt oppsett, og den skriver til en enkelt, skrivebeskyttet destinasjon i OneLake.

• Kopieringsaktiviteter i datasamlebånd er bygd for brukere som trenger orkestrerte, datasamlebåndbaserte arbeidsflyter for datainntak. Du kan tilpasse den mye og legge til transformasjonslogikk, men du må definere og administrere pipelinekomponenter selv, inkludert sporing av tilstanden til den siste kjøringen for trinnvis kopiering.

• Copy Job gjør datainntak enklere med opprinnelig støtte for flere leveringsstiler, inkludert massekopiering, trinnvis kopiering og replikering av endringsdatafangst (CDC), og du trenger ikke å bygge datasamlebånd, samtidig som du får tilgang til mange avanserte alternativer. Den støtter mange kilder og mål, og fungerer bra når du vil ha mer kontroll enn speiling, men mindre kompleksitet enn å administrere pipeliner med kopieringsaktivitet.

• Eventstreams: Utformet for inntak, transformasjon og behandling av strømming av data i sanntid. Støtter datasamlebånd med lav ventetid, skjemaadministrasjon og ruting til mål som Eventhouse, Lakehouse, Activator og egendefinerte endepunkter som støtter (AMQP-, Kafka- og HTTP-endepunkter).

Detaljert funksjonssammenligning

Følgende tabeller sammenligner de fulle kapasitetene til hvert databevegelsesalternativ. Bruk denne delen når du skal evaluere spesifikke egenskaper for ditt scenario.

Scenarioer

Se gjennom disse scenariene for å hjelpe deg med å velge hvilken dataflyttingsstrategi som fungerer best for dine behov.

Scenario 1

James er økonomisjef i et forsikringsselskap. Teamet hans bruker Azure SQL Database til å spore policydata, krav og kundeinformasjon på tvers av flere forretningsenheter. Ledergruppen ønsker å lage dashbord i sanntid for overvåking av forretningsytelse, men James kan ikke tillate analysespørringer å bremse driftssystemene som behandler tusenvis av daglige transaksjoner.

James har allerede ETL-prosessering på plass, og teamet hans trenger de prosesserte, gullnivå-dataene som er tilgjengelige i Fabric for lederrapportering. Han ønsker ikke å administrere planlegging, konfigurere inkrementelle belastninger eller bekymre seg for tabellvalg - han trenger at alt speiles automatisk. Siden dette kun er for rapportering, fungerer det perfekt å ha dataene i skrivebeskyttet format i OneLake. Løsningen må også være kostnadseffektiv siden den kommer fra avdelingsbudsjettet hans.

James velger Speiling. Speiling gir den CDC-baserte kontinuerlige replikeringen han trenger, og håndterer automatisk alle tabeller uten noen konfigurasjon. Det enkle oppsettet betyr at han ikke trenger teknisk ekspertise, og gratiskostnaden passer budsjettet hans. Det skrivebeskyttede tabellformatet i OneLake gir teamet hans den analysetilgangen de trenger uten å påvirke operasjonell ytelse.

Scenario 2

Lisa er forretningsanalytiker i et logistikkselskap. Hun må ta inn rå forsendelsesdata fra flere Snowflake-databaser inn i Fabric Lakehouse-tabeller for analyse av forsyningskjeden. Dataene inkluderer både historiske poster for den første lasten og nye forsendelser som ankommer i løpet av dagen. Lisa ønsker å kjøre denne prosessen etter en tilpasset tidsplan - hver 4.

Siden Lisa bringer inn bronse-nivå rådata, vet hun at hun raskt vil trenge transformasjoner, skjemakartlegging og planleggingskontroll. Hun må velge spesifikke tabeller fra hver Snowflake-instans, mappe kolonner til standardiserte navn, og bruke Upsert Behavior for å håndtere oppdateringer av eksisterende forsendelsesposter. Hun ønsker også avansert overvåking for å spore datakvalitet og behandlingsytelse.

Lisa velger Kopijobb. Copy Job gir den tilpassede planleggingen hun trenger, støtter alle datakilder inkludert Snowflake, og tilbyr tabell- og kolonnehåndteringsmuligheter for hennes multiregionoppsett. Den innebygde støtten for inkrementell kopiering med vannmerkebasert deteksjon og upsert-oppførsel lar henne håndtere disse kravene uten å bygge pipelines.

Scenario 3

David er senior dataingeniør i et telekommunikasjonsselskap. Han bygger en kompleks arbeidsflyt for datainntak som må trekke ut kundebruksdata fra Oracle ved hjelp av egendefinerte SQL-spørringer, bruke forretningstransformasjoner og laste dem inn i flere destinasjoner, inkludert både Fabric Warehouse og eksterne systemer. Arbeidsflyten må også koordineres med andre pipelineaktiviteter som datavalidering og varslingstrinn.

David trenger full kontroll over kopieringsprosessen, inkludert muligheten til å bruke brukerdefinerte spørringer til å slå sammen tabeller og filtrere data ved kilden. Han trenger avanserte og fullt tilpassbare konfigurasjonsalternativer, forutsigbar ytelse for store datavolumer og muligheten til å integrere kopieringsprosessen i bredere arbeidsflyter for pipelineorkestrering med avhengigheter og feilhåndtering.

David ser gjennom de tilgjengelige alternativene og velger Kopier aktiviteter i pipeliner. Denne tilnærmingen gir ham den avanserte og fullt tilpassbare konfigurasjonen han trenger, støtter brukerdefinerte spørringer for kompleks datautvinning og gir den pipelinebaserte orkestreringen som kreves for arbeidsflyten hans. De avanserte overvåkings- og revisjonsfunksjonene hjelper ham med å spore den komplekse prosessen, mens pipeline-rammeverket lar ham koordinere kopieringsaktiviteter med andre databehandlingstrinn.

Scenario 4

Ash er produktsjef i et telekomselskap. Teamet hennes må overvåke kundestøttemålinger som samtalevolumer, ventetider og agentytelse, i sanntid for å sikre overholdelse av serviceavtalen og forbedre kundetilfredsheten. Dataene kommer fra flere driftssystemer, inkludert CRM-plattformer, kundesenterlogger og agentoppdragsdatabaser, og kommer med høy frekvens gjennom dagen.

Ash bruker Fabric Eventstreams til å innta og transformere disse dataene i bevegelse. Hun konfigurerer strømmingskoblinger for å hente data fra ulike kilder, bruker transformasjoner ved hjelp av no-code-opplevelsen og ruter de behandlede hendelsene til Eventhouse for sanntidsanalyse. Hun integrerer Data Activator for å utløse varsler og automatiserte arbeidsflyter når SLA-terskler brytes, slik at hun kan sende varsler til ledere eller justere bemanningsnivåer dynamisk.

Resultatet er et sanntidsdashbord som oppdateres i løpet av sekunder, noe som gir Ashs team innsikt i live ytelsesmålinger og muliggjør raske, datadrevne beslutninger. Denne strømmearkitekturen eliminerer ventetiden til satsvise datasamlebånd og gjør det mulig for virksomheten å svare umiddelbart på kundenes behov.

Kom i gang

Nå som du har en ide om hvilken strategi for dataflytting du skal bruke, kan du komme i gang med disse ressursene:

• Kom i gang med speiling
• Kom i gang med Eventstreams
• Opprette en kopieringsjobb
• Opprett en kopiaktivitet