Data Factory-scenario från slutpunkt till slutpunkt: introduktion och arkitektur

I den här självstudien går vi igenom ett fullständigt dataintegreringsscenario på ungefär en timme. Du får lära dig de viktigaste funktionerna i Data Factory i Microsoft Fabric och hur du tillämpar dem på vanliga dataarbetsflöden.

Vad du kommer att bygga

Den här självstudien innehåller en introduktion och tre moduler:

• Modul 1 – Mata in data med ett kopieringsjobb: Skapa ett fristående kopieringsjobb för att mata in rådata från Blob Storage i en bronstabell i ett Lakehouse.
• Modul 2 – Transformera data med ett dataflöde: Bearbeta rådata från bronstabellen och flytta dem till en guldtabell i Lakehouse.
• Modul 3 – Samordna och automatisera med en pipeline: Skapa en pipeline för att orkestrera kopieringsjobbet och dataflödet, skicka ett e-postmeddelande när jobben har slutförts och schemalägga hela flödet.

Data Factory i Microsoft Fabric

Microsoft Fabric är en enhetlig analysplattform som omfattar dataflytt, datasjöar, datateknik, dataintegrering, datavetenskap, realtidsanalys och business intelligence. Du behöver inte pussla ihop tjänster från flera leverantörer.

Data Factory i Fabric kombinerar enkel användning av Power Query med skalan Azure Data Factory. Den erbjuder lågkod, AI-stödd dataförberedelse, transformering på petabyte-skala och hundratals kopplingar med hybrid- och multimolnkonnektivitet.

Viktiga funktioner

Data Factory har tre kärnfunktioner för dina dataintegreringsbehov:

• Datainmatning med kopieringsjobb: Ett kopieringsjobb är den rekommenderade startpunkten för datainmatning. Den flyttar data i petabyte-skala från hundratals datakällor till ditt Lakehouse, med inbyggt stöd för bulk, inkrementell och CDC-baserad kopiering – utan behov av att bygga en pipeline.
• Datatransformering: Dataflöde Gen2 tillhandahåller ett lågkodsgränssnitt för att transformera dina data med över 300 transformeringar. Du kan läsa in resultat till flera destinationer som Azure SQL Database, Lakehouse med mera.
• Helautomatisk process: Pipelines samordnar aktiviteter som Kopieringsjobb, dataflöde, notebook-fil med mera. Länka aktiviteter för att utföras sekventiellt eller parallellt. Övervaka hela dataintegreringsflödet på ett och samma ställe.

Handledningsarkitektur

Du kommer att utforska alla tre viktiga funktioner när du slutför ett dataintegreringsscenario från slutpunkt till slutpunkt.

Scenariot innehåller tre moduler:

1. Mata in data med ett kopieringsjobb: Skapa ett fristående kopieringsjobb för att mata in rådata från bloblagring till en bronstabell i en Lakehouse-miljö.
2. Transformera data med ett dataflöde: Bearbeta rådata från bronstabellen och flytta dem till en guldtabell .
3. Samordna och automatisera med en pipeline: Skapa en pipeline för att samordna kopieringsjobbet och dataflödet, skicka ett e-postmeddelande och schemalägga hela flödet.

I denna handledning används exempeldatauppsättningen NYC-Taxi. När du är klar kan du analysera dagliga rabatter på taxipriser under en viss tidsperiod med hjälp av Data Factory i Microsoft Fabric.

Nästa steg