Läs in data stegvis från Azure SQL Database till Azure Blob Storage med hjälp av Azure-portalen

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

I den här självstudien skapar du en Azure Data Factory med en pipeline som laddar deltadata från en tabell i Azure SQL Database till Azure Blob Storage.

I de här självstudierna går du igenom följande steg:

Översikt

Här är diagrammet över lösningen på hög nivå:

Här är några viktiga steg för att skapa den här lösningen:

1. Välj vattenstämpelkolumnen Markera en kolumn i källdatalagringen som går att använda för att dela upp de nya eller uppdaterade posterna för varje körning. Vanligtvis ökar data i den markerade kolumnen (till exempel last_modify_time elle ID) när rader skapas eller uppdateras. Det maximala värdet i den här kolumnen används som vattenstämpel.

2. Förbered en databas för att lagra vattenstämpelvärdet. I den här självstudien lagrar du vattenstämpelvärdet i en SQL-databas.

3. Skapa en pipeline med följande arbetsflöde:

   Pipelinen i den här lösningen har följande aktiviteter:

   • Skapa två sökningsaktiviteter. Använd den första sökningsaktiviteten för att hämta det sista vattenstämpelvärdet. Använd den andra sökningsaktiviteten för att hämta det nya vattenstämpelvärdet. Dessa vattenstämpelvärden skickas till Copy activity.
   • Skapa en Copy activity som kopierar rader från källdatalagret med värdet för vattenstämpelkolumnen större än det gamla vattenstämpelvärdet och mindre än det nya vattenstämpelvärdet. Sedan kopieras deltadata från källdatalagringen till Blob-lagring som en ny fil.
   • Skapa en StoredProcedure-aktivitet som uppdaterar vattenstämpelvärdet för den pipeline som körs nästa gång.

Om du inte har en Azure-prenumeration skapar du ett free-konto innan du börjar.

Förutsättningar

• Azure SQL Database. Du använder databasen som källa för datalagringen. Om du inte har någon databas i Azure SQL Database kan du läsa Skapa en databas i Azure SQL Database för steg för att skapa en.
• Azure Storage. Du använder blob-lagringen som datautmatningslager. Om du inte har något lagringskonto kan du läsa Skapa ett lagringskonto för steg för att skapa ett. Skapa en container med namnet adftutorial.

Skapa en datakällatabell i din SQL-databas

1. Öppna SQL Server Management Studio. Högerklicka på databasen i Server Explorer och välj Ny fråga.

2. Kör följande SQL-kommando mot din SQL-databas för att skapa en tabell med namnet data_source_table som datakällagringen:

   create table data_source_table
   (
       PersonID int,
       Name varchar(255),
       LastModifytime datetime
   );
   
   INSERT INTO data_source_table
       (PersonID, Name, LastModifytime)
   VALUES
       (1, 'aaaa','9/1/2017 12:56:00 AM'),
       (2, 'bbbb','9/2/2017 5:23:00 AM'),
       (3, 'cccc','9/3/2017 2:36:00 AM'),
       (4, 'dddd','9/4/2017 3:21:00 AM'),
       (5, 'eeee','9/5/2017 8:06:00 AM');
   

   I den här handledningen använder du LastModifytime som vattenstämpelkolumnen. Data i datakällagringen visas i följande tabell:

   PersonID | Name | LastModifytime
   -------- | ---- | --------------
   1        | aaaa | 2017-09-01 00:56:00.000
   2        | bbbb | 2017-09-02 05:23:00.000
   3        | cccc | 2017-09-03 02:36:00.000
   4        | dddd | 2017-09-04 03:21:00.000
   5        | eeee | 2017-09-05 08:06:00.000
   

Skapa en annan tabell i SQL-databasen för att lagra värdet för högvattenmärket

1. Kör följande SQL-kommando mot din SQL-databas för att skapa en tabell med namnet watermarktable för att lagra värdet för högvattenmärket:

   create table watermarktable
   (
   
   TableName varchar(255),
   WatermarkValue datetime,
   );
   

2. Ställ in standardvärdet för högvattenmärket med tabellnamnet på källdatalagret. I den här självstudien är tabellnamnet data_source_table.

   INSERT INTO watermarktable
   VALUES ('data_source_table','1/1/2010 12:00:00 AM')    
   

3. Granska informationen i tabellen watermarktable.

   Select * from watermarktable
   

   Utdata:

   TableName  | WatermarkValue
   ----------  | --------------
   data_source_table | 2010-01-01 00:00:00.000
   

Skapa en lagrad procedur i din SQL-databas

Kör följande kommando för att skapa en lagrad procedur i din SQL-databas:

CREATE PROCEDURE usp_write_watermark @LastModifiedtime datetime, @TableName varchar(50)
AS

BEGIN

UPDATE watermarktable
SET [WatermarkValue] = @LastModifiedtime
WHERE [TableName] = @TableName

END

Skapa en datafabrik

1. Starta Microsoft Edge eller Google Chrome webbläsare. Data Factory-användargränssnittet stöds för närvarande endast i Microsoft Edge- och Google Chrome-webbläsare.

2. Välj Skapa en resurs>Analys>Datafabrik på den översta menyn:

   

3. På sidan Ny datafabrik anger du ADFIncCopyTutorialDF som namn.

   Namnet på Azure Data Factory måste vara globalt unikt. Om du ser ett rött utropstecken med följande fel ändrar du namnet på datafabriken (till exempel dittnamn ADF Inc Copy TutorialDF) och provar att skapa igen. Se artikeln Data Factory – Namngivningsregler för namngivningsregler för Data Factory-artefakter.

   Datafabriksnamnet "ADFIncCopyTutorialDF" är inte tillgängligt

4. Välj din Azure subscription där du vill skapa datafabriken.

5. Gör något av följande för resursgruppen:

   • Välj Använd befintlig och välj en befintlig resursgrupp i listrutan.

   • Välj Skapa ny och ange namnet på en resursgrupp.

     Mer information om resursgrupper finns i Använda resursgrupper för att hantera dina Azure resurser.

6. Välj V2 som version.

7. Välj platsen för datafabriken. Endast platser som stöds visas i listrutan. Datalager (Azure Storage, Azure SQL Database, Azure SQL Managed Instance och så vidare) och beräkningar (HDInsight osv.) som används av datafabriken kan finnas i andra regioner.

8. Klicka på Skapa.

9. När skapandet har slutförts visas sidan Data Factory enligt bilden.

   

10. Välj Open på panelen Öppna Azure Data Factory Studio för att starta Azure Data Factory användargränssnittet på en separat flik.

Skapa en pipeline

I den här självstudien skapar du en pipeline med två sökningsaktiviteter, en Copy activity och en StoredProcedure-aktivitet som är länkad i en pipeline.

1. På startsidan för Data Factory-användargränssnittet klickar du på orchestrate-panelen.

   

2. I panelen Allmänt under Egenskaper anger du IncrementalCopyPipeline som Namn. Dölj sedan panelen genom att klicka på ikonen Egenskaper i det övre högra hörnet.

3. Vi lägger till den första sökningsaktiviteten för att hämta det gamla vattenstämpelvärdet. I Aktiviteter-verktygslådan expanderar du Allmänt och drar och släpper uppslagsaktiviteten till pipeline-designytan. Ändra namnet på aktiviteten till LookupOldWaterMarkActivity.

   

4. Växla till fliken Inställningar och klicka på + Ny för Källdatauppsättning. I det här steget skapar du en dataset som representerar data i watermarktable. Den här tabellen innehåller den gamla vattenstämpeln som användes i den tidigare kopieringen.

5. I fönstret Ny datauppsättning väljer du Azure SQL Database och klickar på Continue. Ett nytt fönster öppnas för datauppsättningen.

6. I fönstret Ange egenskaper för datamängden anger du WatermarkDataset som Namn.

7. För Länkad tjänst väljer du Ny och utför sedan följande steg:

   1. Ange AzureSqlDatabaseLinkedService som Namn.

   2. Välj din server för Servernamn.

   3. Välj ditt databasnamn i listrutan.

   4. Ange användarnamnet och lösenordet.

   5. Om du vill testa anslutningen till SQL-databasen klickar du på Testa anslutning.

   6. Klicka på Slutför.

   7. Bekräfta att AzureSqlDatabaseLinkedService har valts för länkad tjänst.

      

   8. Välj Slutför.

8. På fliken Anslutning väljer du [dbo].[ watermarktable] för Table. Om du vill förhandsgranska data i tabellen klickar du på Förhandsgranska data.

   

9. Växla till pipeline-redigeringsprogrammet genom att klicka på pipelinefliken högst upp eller på pipelinenamnet i trädvyn till vänster. I egenskapsfönstret för uppslagsaktiviteten bekräftar du att WatermarkDataset har valts för fältet Källdatauppsättning .

10. I verktygslådan Aktiviteter expanderar du Allmänt och drar och släpper en annan sökningsaktivitet till pipelinedesignytan och anger namnet till LookupNewWaterMarkActivity på fliken Allmänt i egenskapsfönstret. Den här sökningsaktiviteten hämtar det nya vattenstämpelvärdet från tabellen med källdata för att kopieras till destinationen.

11. I egenskapsfönstret för den andra uppslagsaktiviteten växlar du till fliken Inställningar och klickar på Ny. Du skapar en datauppsättning för att peka på källtabellen som innehåller det nya vattenstämpelvärdet (det högsta värdet för LastModifyTime).

12. I fönstret Ny datauppsättning väljer du Azure SQL Database och klickar på Continue.

13. I fönstret Ange egenskaper anger du SourceDataset som Namn. Välj AzureSqlDatabaseLinkedService för länkad tjänst.

14. Välj [dbo].[ data_source_table] för Tabell. Du kan ange en fråga för den här datauppsättningen senare under kursen. Frågan åsidosätter den tabell som du anger i det här steget.

15. Välj Slutför.

16. Växla till pipeline-redigeringsprogrammet genom att klicka på pipelinefliken högst upp eller på pipelinenamnet i trädvyn till vänster. I egenskapsfönstret för sökningsaktiviteten bekräftar du att SourceDataset har valts för fältet Källdatauppsättning .

17. Välj Fråga för fältet Använd fråga och ange följande fråga: du väljer bara det maximala värdet för LastModifytime från data_source_table. Kontrollera att du också har markerat endast första raden.

    select MAX(LastModifytime) as NewWatermarkvalue from data_source_table
    

    

18. I verktygslådan Aktiviteter expanderar du Flytta och transformerar och drar och släpper aktiviteten Kopiera från verktygslådan Aktiviteter och anger namnet till IncrementalCopyActivity.

19. Anslut båda uppslagsaktiviteterna till Copy activity genom att dra knappen green kopplad till uppslagsaktiviteterna till Copy activity. Släpp musknappen när du ser kantfärgen på Copy activity ändras till blå.

    

20. Välj Copy activity och bekräfta att du ser egenskaperna för aktiviteten i fönstret Egenskaper.

21. Växla till fliken Källa i fönstret Egenskaper och gör följande:

    1. Välj SourceDataset för fältet Källdatauppsättning .

    2. Välj Fråga för fältet Använd fråga .

    3. Ange följande SQL-fråga för fältet Fråga .

       select * from data_source_table where LastModifytime > '@{activity('LookupOldWaterMarkActivity').output.firstRow.WatermarkValue}' and LastModifytime <= '@{activity('LookupNewWaterMarkActivity').output.firstRow.NewWatermarkvalue}'
       

       

22. Växla till fliken Mottagare och klicka på + Ny för fältet Datauppsättning för mottagare .

23. I den här självstudien är datalagret för mottagare av typen Azure Blob Storage. Välj därför Azure Blob Storage och klicka på Continue i fönstret Ny datauppsättning.

24. I fönstret Välj format väljer du formattypen för dina data och klickar på Fortsätt.

25. I fönstret Ange egenskaper anger du SinkDataset som Namn. För Länkad tjänst väljer du + Ny. I det här steget skapar du en anslutning (länkad tjänst) till din Azure Blob Storage.

26. Gör följande i fönstret Ny länkad tjänst (Azure Blob Storage):

    1. Ange AzureStorageLinkedService som Namn.
    2. Välj ditt Azure Storage konto för Lagringskontonamn.
    3. Testa anslutningen och klicka sedan på Slutför.

27. I fönstret Ange egenskaper bekräftar du att AzureStorageLinkedService har valts för länkad tjänst. Välj sedan Slutför.

28. Gå till fliken Anslutning i SinkDataset och gör följande:

    1. För fältet Filsökväg anger du adftutorial/incrementalcopy. adftutorial är namnet på blobcontainern och incrementalcopy är mappnamnet. Det här kodfragmentet förutsätter att du har en blobcontainer med namnet adftutorial i din blob-lagring. Skapa containern om den inte finns, eller ange namnet på en befintlig. Azure Data Factory skapar automatiskt utdatamappen incrementalcopy om den inte finns. Du kan också använda knappen Bläddra för filsökvägen för att navigera till en mapp i en blobcontainer.
    2. För fildelen av fältet Filsökväg väljer du Lägg till dynamiskt innehåll [Alt+P] och anger @CONCAT('Incremental-', pipeline().RunId, '.txt')sedan i det öppnade fönstret. Välj sedan Slutför. Filnamnet genereras dynamiskt med uttrycket. Varje pipelinekörning har ett unikt ID. Copy activity använder körnings-ID:t för att generera filnamnet.

29. Växla till pipelineredigeraren genom att klicka på pipelinefliken längst upp eller genom att klicka på namnet på pipelinen i trädvyn till vänster.

30. I verktygslådan Aktiviteter expanderar du Allmänt och drar och släpper aktiviteten Lagrad procedur från verktygslådan Aktiviteter till pipelinedesignytan. Anslut de gröna (lyckade) utdata från kopieringsaktiviteten till aktiviteten Lagrad procedur .

31. Välj Lagrad proceduraktivitet i pipelinedesignern och ändra namnet till StoredProceduretoWriteWatermarkActivity.

32. Växla till fliken SQL-konto och välj AzureSqlDatabaseLinkedService för länkad tjänst.

33. Växla till fliken Lagrad procedur och gör följande:

    1. Som Namn på lagrad procedur väljer du usp_write_watermark.

    2. Om du vill ange värden för parametrarna för lagrad procedur klickar du på Importera parameter och anger följande värden för parametrarna:

       Namn	Typ	Värde
       SenastÄndradTid	Datum/tid	@{activity('LookupNewWaterMarkActivity').output.firstRow.NewWatermarkvalue}
       Tabellnamn	Sträng	@{activity('LookupOldWaterMarkActivity').output.firstRow.TableName}

       

34. Om du vill verifiera pipelineinställningarna klickar du på Verifiera i verktygsfältet. Kontrollera att det inte finns några verifieringsfel. Om du vill stänga fönstret Pipelineverifieringsrapport klickar du på >>.

35. Publicera entiteter (länkade tjänster, datauppsättningar och pipelines) till Azure Data Factory-tjänsten genom att välja knappen Publicera alla. Vänta tills du ser ett meddelande om att publiceringen är klar.

Utlös en pipelinekörning

1. Klicka på Lägg till utlösare i verktygsfältet och klicka på Utlös nu.

2. I fönstret Pipelinekörning väljer du Slutför.

Övervaka pipelinekörningen

1. Växla till fliken Övervaka till vänster. Du ser status för pipelinekörningen som utlöses av en manuell utlösare. Du kan använda länkar under kolumnen PIPELINE NAME för att visa körningsinformation och köra pipelinen igen.

2. För att se aktivitetskörningar som är associerade med pipelinekörningen, välj länken under kolumnen PIPELINE NAME. Om du vill ha mer information om aktivitetskörningarna väljer du länken Information (glasögonikonen) under kolumnen AKTIVITETSNAMN . Välj Alla pipelinekörningar överst för att gå tillbaka till sidan Pipelinekörningar. Om du vill uppdatera vyn väljer du Uppdatera.

Granska resultaten

1. Anslut till ditt Azure Storage-konto med hjälp av verktyg som Azure Storage Explorer. Kontrollera att en utdatafil skapas i mappen incrementalcopy i containern adftutorial .

   

2. Öppna utdatafilen och observera att alla data kopieras från data_source_table till blobfilen.

   1,aaaa,2017-09-01 00:56:00.0000000
   2,bbbb,2017-09-02 05:23:00.0000000
   3,cccc,2017-09-03 02:36:00.0000000
   4,dddd,2017-09-04 03:21:00.0000000
   5,eeee,2017-09-05 08:06:00.0000000
   

3. Kontrollera det senaste värdet från watermarktable. Du ser att vattenstämpelvärdet har uppdaterats.

   Select * from watermarktable
   

   Här är resultatet:

   | TableName | WatermarkValue |
   | --------- | -------------- |
   | data_source_table | 2017-09-05	8:06:00.000 |
   

Lägg till mer data i källan

Infoga nya data i databasen (datakälllagret).

INSERT INTO data_source_table
VALUES (6, 'newdata','9/6/2017 2:23:00 AM')

INSERT INTO data_source_table
VALUES (7, 'newdata','9/7/2017 9:01:00 AM')

Uppdaterade data i databasen är:

PersonID | Name | LastModifytime
-------- | ---- | --------------
1 | aaaa | 2017-09-01 00:56:00.000
2 | bbbb | 2017-09-02 05:23:00.000
3 | cccc | 2017-09-03 02:36:00.000
4 | dddd | 2017-09-04 03:21:00.000
5 | eeee | 2017-09-05 08:06:00.000
6 | newdata | 2017-09-06 02:23:00.000
7 | newdata | 2017-09-07 09:01:00.000

Utlös ytterligare en pipelinekörning

1. Växla till fliken Redigera . Klicka på pipelinen i trädvyn om den inte öppnas i designern.

2. Klicka på Lägg till utlösare i verktygsfältet och klicka på Utlös nu.

Övervaka den andra pipelinekörningen

1. Växla till fliken Övervaka till vänster. Du ser status för pipelinekörningen som utlöses av en manuell utlösare. Du kan använda länkar under kolumnen PIPELINE NAME för att visa aktivitetsinformation och köra pipelinen igen.

2. För att se aktivitetskörningar som är associerade med pipelinekörningen, välj länken under kolumnen PIPELINE NAME. Om du vill ha mer information om aktivitetskörningarna väljer du länken Information (glasögonikonen) under kolumnen AKTIVITETSNAMN . Välj Alla pipelinekörningar överst för att gå tillbaka till sidan Pipelinekörningar. Om du vill uppdatera vyn väljer du Uppdatera.

Verifiera det andra resultatet

1. I blob-lagringen ser du att en annan fil har skapats. I den här handledningen är det nya filnamnet Incremental-<GUID>.txt. När du öppnar filen ser du att det finns två rader med poster i den.

   6,newdata,2017-09-06 02:23:00.0000000
   7,newdata,2017-09-07 09:01:00.0000000    
   

2. Kontrollera det senaste värdet från watermarktable. Du ser att vattenstämpelvärdet har uppdaterats igen.

   Select * from watermarktable
   

   Exempel på utdata:

   | TableName | WatermarkValue |
   | --------- | -------------- |
   | data_source_table | 2017-09-07 09:01:00.000 |
   

Relaterat innehåll

I den här självstudiekursen utförde du följande steg:

I den här självstudien kopierade pipelinen data från en enda tabell i SQL Database till Blob Storage. Gå vidare till följande självstudie för att lära dig hur du kopierar data från flera tabeller i en SQL Server databas till SQL Database.