Läsa in data stegvis från ett källdatalager till ett måldatalager

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Tips

Letar du efter ett enkelt sätt att flytta data? Kopieringsjobb i Microsoft Fabric erbjuder ett enkelt och skalbart sätt att ladda data utan behov av att bygga en pipeline. Lär dig hur du skapar en.

I en dataintegrationslösning är stegvis inläsning av data (eller deltadata) efter den första fullständiga datainläsningen ett vanligt scenario. Självstudierna i det här avsnittet visar dig olika sätt att läsa in data inkrementellt med Azure Data Factory.

Deltadatainläsning från databas med hjälp av en vattenstämpel.

I det här fallet definierar du en vattenstämpel i din källdatabas. En vattenstämpel är en kolumn i vilken det finns den senast uppdaterade tidsstämpeln eller en stegvis föränderlig nyckel. Lösningen för deltainläsning läser in de ändrade data mellan en gammal och en ny vattenstämpel. Arbetsflödet för den här metoden illustreras i följande diagram:

Arbetsflöde för att använda en vattenstämpel

För steg-för-steg-instruktioner, se följande handledningar:

För mallar, se följande:

Inläsning av deltadata från en SQL-databas genom att använda tekniken för ändringsspårning

Tekniken för ändringsspårning är en enkel lösning i SQL Server och Azure SQL Database som tillhandahåller en effektiv ändringsspårningsmekanism för program. Det gör att ett program enkelt kan identifiera data som har infogats, uppdaterats eller tagits bort.

Arbetsflödet för den här metoden illustreras i följande diagram:

Arbetsflöde för att använda Ändringsspårning

Stegvisa instruktioner finns i följande guide:

Läsa in endast nya och ändrade filer med hjälp av LastModifiedDate

Du kan bara använda LastModifiedDate för att kopiera de nya och ändrade filerna till destinationen. ADF genomsöker alla filer från källarkivet, tillämpar filfiltret efter deras LastModifiedDate och kopierar bara den nya och uppdaterade filen sedan förra gången till målarkivet. Om du låter ADF skanna stora mängder filer men bara kopierar några filer till målet tar det fortfarande lång tid på grund av filgenomsökningsprocessen.

Stegvisa instruktioner finns i följande handledning:

För mallar, se följande:

Läser endast in nya filer med hjälp av tidspartitionerad mapp eller filnamn

Du kan kopiera endast nya filer, där filer eller mappar redan har tidspartitionerats med tidssektorinformation som en del av fil- eller mappnamnet (till exempel /åååå/mm/dd/fil.csv). Det är den mest högpresterande metoden för inläsning av nya filer stegvis.

För stegvisa instruktioner, se följande handledning:

Relaterat innehåll

Fortsätt till följande handledning:

Kopiera data stegvis från en tabell i Azure SQL Database till Azure Blob Storage

  • Last updated on