Läs in data stegvis från Azure SQL Database till Azure Blob Storage med hjälp av information om ändringsspårning med hjälp av PowerShell

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

I den här handledningen skapar du en Azure-datafabrik med en pipeline som laddar in deltadata baserat på change tracking-information i källdatabasen i Azure SQL Database till en Azure-bloblagring.

I de här självstudierna går du igenom följande steg:

Översikt

I en dataintegrationslösning är stegvis inläsning av data efter den första datainläsningen ett vanligt scenario. I vissa fall kan ändrade data inom en period i ditt källdatalager enkelt delas upp (till exempel LastModifyTime, CreationTime). I vissa fall finns det inget uttryckligt sätt att identifiera deltadata från förra gången du bearbetade data. Tekniken för ändringsspårning som stöds av datalager som Azure SQL Database och SQL Server kan användas för att identifiera deltadata. I denna handledning beskrivs hur du använder Azure Data Factory tillsammans med SQL Change Tracking-teknologi för att stegvis läsa in skillnadsdata från Azure SQL Database till Azure Blob Storage. Mer konkret information om SQL Change Tracking-teknik finns i Change tracking i SQL Server.

Arbetsflöde från början till slut

Här följer de typiska arbetsflödesstegen från slutpunkt till slutpunkt för att stegvis läsa in data med ändringsspårningstekniken.

1. Inledande inläsning av historiska data (körs en gång):
   1. Aktivera teknik för ändringsspårning i källdatabasen i Azure SQL Database.
   2. Hämta det ursprungliga värdet för SYS_CHANGE_VERSION i databasen som baslinje för att samla in ändrade data.
   3. Läs in fullständiga data från källdatabasen till en Azure bloblagring.
2. Inkrementell inläsning av deltadata enligt ett schema (körs regelbundet efter den första inläsningen av data):
   1. Hämta de gamla och nya SYS_CHANGE_VERSION-värdena.
   2. Läs in deltadata genom att ansluta primärnycklarna för de ändrade raderna (mellan två SYS_CHANGE_VERSION-värden) från sys.change_tracking_tables med data i källtabellen och flytta sedan deltadata till måltabellen.
   3. Uppdatera SYS_CHANGE_VERSION för deltainläsning nästa gång.

Lösning på hög nivå

I den här handledningen skapar du två pipelines som utför följande två åtgärder:

1. Initial load: du skapar en pipeline med en kopieringsaktivitet som kopierar hela data från källdatalagret (Azure SQL Database) till måldatalagret (Azure Blob Storage).

   

2. Stegvis inläsning: du skapar en pipeline med följande aktiviteter och kör den med jämna mellanrum.

   1. Skapa två uppslagsaktiviteter för att hämta den gamla och nya SYS_CHANGE_VERSION från Azure SQL Database och skicka den till kopieringsaktiviteten.
   2. Skapa en kopieringsaktivitet för att kopiera infogade/uppdaterade/borttagna data mellan de två SYS_CHANGE_VERSION värdena från Azure SQL Database till Azure Blob Storage.
   3. Skapa en lagrad proceduraktivitet för att uppdatera värdet för SYS_CHANGE_VERSION för nästa pipelinekörning.

   

Om du inte har en Azure-prenumeration skapar du ett free-konto innan du börjar.

Förutsättningar

• Azure PowerShell. Installera de senaste Azure PowerShell modulerna genom att följa anvisningarna i Så här installerar och konfigurerar du Azure PowerShell.
• Azure SQL Database. Du använder databasen som källa för datalagringen. Om du inte har någon databas i Azure SQL Database kan du läsa artikeln Skapa en databas i Azure SQL Database för steg för att skapa en.
• Azure Storage konto. Du kan använda blob-lagringen som mottagare för datalagringen. Om du inte har ett Azure lagringskonto kan du läsa artikeln Skapa ett lagringskonto för steg för att skapa ett. Skapa en container med namnet adftutorial.

Skapa en datakällatabell i databasen

1. Starta SQL Server Management Studio och anslut till SQL Database.

2. I Server Explorer högerklickar du på databasen och väljer Ny fråga.

3. Kör följande SQL-kommando mot databasen för att skapa en tabell kallad data_source_table som datakälleställe.

   create table data_source_table
   (
       PersonID int NOT NULL,
       Name varchar(255),
       Age int
       PRIMARY KEY (PersonID)
   );
   
   INSERT INTO data_source_table
       (PersonID, Name, Age)
   VALUES
       (1, 'aaaa', 21),
       (2, 'bbbb', 24),
       (3, 'cccc', 20),
       (4, 'dddd', 26),
       (5, 'eeee', 22);
   
   

4. Aktivera mekanismen för ändringsspårning på din databas och källtabellen (data_source_table) genom att köra följande SQL-fråga:

   Kommentar

   • Ersätt <databasnamnet> med namnet på databasen som har data_source_table.
   • Ändrade data sparas i två dagar i det aktuella exemplet. Om du läser in ändrade data ungefär var tredje dag eller oftare inkluderas inte en del ändrade data. Du måste antingen ändra värdet för CHANGE_RETENTION till ett större antal. Du kan också se till att din period för att läsa in ändrade data är inom två dagar. Mer information finns i Enable change tracking for a database (Aktivera ändringsspårning för en databas)

   ALTER DATABASE <your database name>
   SET CHANGE_TRACKING = ON  
   (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON)  
   
   ALTER TABLE data_source_table
   ENABLE CHANGE_TRACKING  
   WITH (TRACK_COLUMNS_UPDATED = ON)
   

5. Skapa en ny tabell och lagra ChangeTracking_version med ett standardvärde genom att köra följande fråga:

   create table table_store_ChangeTracking_version
   (
       TableName varchar(255),
       SYS_CHANGE_VERSION BIGINT,
   );
   
   DECLARE @ChangeTracking_version BIGINT
   SET @ChangeTracking_version = CHANGE_TRACKING_CURRENT_VERSION();  
   
   INSERT INTO table_store_ChangeTracking_version
   VALUES ('data_source_table', @ChangeTracking_version)
   

   Kommentar

   Om data inte ändras när du har aktiverat spårning för SQL-databasen är värdet för ändringsspårningsversionen 0.

6. Kör följande fråga för att skapa en lagrad procedur i databasen. Pipelinen anropar den här lagrade proceduren för att uppdatera ändringsspårningsversionen i tabellen som du skapade i föregående steg.

   CREATE PROCEDURE Update_ChangeTracking_Version @CurrentTrackingVersion BIGINT, @TableName varchar(50)
   AS
   
   BEGIN
   
   UPDATE table_store_ChangeTracking_version
   SET [SYS_CHANGE_VERSION] = @CurrentTrackingVersion
   WHERE [TableName] = @TableName
   
   END    
   

Azure PowerShell

Installera de senaste Azure PowerShell modulerna genom att följa anvisningarna i Så här installerar och konfigurerar du Azure PowerShell.

Skapa en datafabrik

1. Definiera en variabel för resursgruppens namn som du kan använda senare i PowerShell-kommandon. Kopiera följande kommandotext till PowerShell, ange ett namn för resursgruppen Azure med dubbla citattecken och kör sedan kommandot . Exempel: "adfrg".

   $resourceGroupName = "ADFTutorialResourceGroup";
   

   Om resursgruppen redan finns behöver du kanske inte skriva över den. Ge variabeln $resourceGroupName ett annat värde och kör kommandot igen

2. Definiera en variabel för datafabrikens plats:

   $location = "East US"
   

3. Kör följande kommando för att skapa resursgruppen Azure:

   New-AzResourceGroup $resourceGroupName $location
   

   Om resursgruppen redan finns behöver du kanske inte skriva över den. Ge variabeln $resourceGroupName ett annat värde och kör kommandot igen.

4. Definiera en variabel för datafabrikens namn.

   Viktigt!

   Uppdatera namnet på datafabriken så att det är unikt globalt.

   $dataFactoryName = "IncCopyChgTrackingDF";
   

5. Skapa datafabriken genom att köra följande Set-AzDataFactoryV2-cmdlet :

   Set-AzDataFactoryV2 -ResourceGroupName $resourceGroupName -Location $location -Name $dataFactoryName
   

Observera följande:

• Namnet på Azure datafabrik måste vara globalt unikt. Om du får följande felmeddelande ändrar du namnet och försöker igen.

  The specified Data Factory name 'ADFIncCopyChangeTrackingTestFactory' is already in use. Data Factory names must be globally unique.
  

• Om du vill skapa Data Factory-instanser måste användarkontot som du använder för att logga in på Azure vara medlem i rollerna contributor eller owner eller en administrator för Azure-prenumerationen.

• Om du vill ha en lista över Azure regioner där Data Factory är tillgängligt för närvarande väljer du de regioner som intresserar dig på följande sida och expanderar sedan Analytics för att hitta Data Factory: Produkter tillgängliga per region. Datalager (Azure Storage, Azure SQL Database osv.) och beräkningar (HDInsight osv.) som används av datafabriken kan finnas i andra regioner.

Skapa länkade tjänster

Du skapar länkade tjänster i en datafabrik för att länka dina datalager och beräkningsresurser till datafabriken. I det här avsnittet skapar du länkade tjänster till ditt Azure Storage-konto och din databas i Azure SQL Database.

Skapa Azure Storage länkad tjänst.

I det här steget länkar du ditt Azure Storage-konto till datafabriken.

1. Skapa en JSON-fil med namnet AzureStorageLinkedService.json i mappen C:\ADFTutorials\IncCopyChangeTrackingTutorial med följande innehåll: (Skapa mappen om den inte redan finns). Ersätt <accountName>, <accountKey> med namnet och nyckeln för ditt Azure lagringskonto innan du sparar filen.

   {
       "name": "AzureStorageLinkedService",
       "properties": {
           "type": "AzureStorage",
           "typeProperties": {
               "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>"
           }
       }
   }
   

2. I Azure PowerShell växlar du till mappen C:\ADFTutorials\IncCopyChangeTrackingTutorial.

3. Kör cmdleten Set-AzDataFactoryV2LinkedService för att skapa den länkade tjänsten: AzureStorageLinkedService. I följande exempel skickar du värden för parametrarna ResourceGroupName och DataFactoryName.

   Set-AzDataFactoryV2LinkedService -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "AzureStorageLinkedService" -File ".\AzureStorageLinkedService.json"
   

   Här är exempel på utdata:

   LinkedServiceName : AzureStorageLinkedService
   ResourceGroupName : ADFTutorialResourceGroup
   DataFactoryName   : IncCopyChgTrackingDF
   Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureStorageLinkedService
   

Skapa Azure SQL Database länkad tjänst.

I det här steget länkar du databasen till datafabriken.

1. Skapa en JSON-fil med namnet AzureSQLDatabaseLinkedService.json i mappen C:\ADFTutorials\IncCopyChangeTrackingTutorial med följande innehåll: Ersätt <ditt servernamn> och <ditt databasnamn> med namnet på servern och databasen innan du sparar filen. Du måste också konfigurera Azure SQL Server för att bevilja åtkomst till datafabrikens hanterade identitet.

   {
   "name": "AzureSqlDatabaseLinkedService",
   "properties": {
           "type": "AzureSqlDatabase",
           "typeProperties": {
               "connectionString": "Server=tcp:<your-server-name>.database.windows.net,1433;Database=<your-database-name>;"
           },
           "authenticationType": "ManagedIdentity",
           "annotations": []
       }
   }
   

2. I Azure PowerShell kör du cmdleten Set-AzDataFactoryV2LinkedService för att skapa den länkade tjänsten: AzureSQLDatabaseLinkedService.

   Set-AzDataFactoryV2LinkedService -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "AzureSQLDatabaseLinkedService" -File ".\AzureSQLDatabaseLinkedService.json"
   

   Här är exempel på utdata:

   LinkedServiceName : AzureSQLDatabaseLinkedService
   ResourceGroupName : ADFTutorialResourceGroup
   DataFactoryName   : IncCopyChgTrackingDF
   Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureSqlDatabaseLinkedService
   

Skapa datauppsättningar

I det här steget skapar du datamängder för att representera datakälla, datamål och plats för att lagra SYS_CHANGE_VERSION.

Skapa en källdatauppsättning

I det här steget skapar du en datamängd för att representera källdata.

1. Skapa en JSON-fil med namnet SourceDataset.json i samma mapp med följande innehåll:

   {
       "name": "SourceDataset",
       "properties": {
           "type": "AzureSqlTable",
           "typeProperties": {
               "tableName": "data_source_table"
           },
           "linkedServiceName": {
               "referenceName": "AzureSQLDatabaseLinkedService",
               "type": "LinkedServiceReference"
           }
       }
   }   
   

2. Kör cmdleten Set-AzDataFactoryV2Dataset för att skapa datauppsättningen: SourceDataset

   Set-AzDataFactoryV2Dataset -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "SourceDataset" -File ".\SourceDataset.json"
   

   Här är exempel på utdata från cmdleten:

   DatasetName       : SourceDataset
   ResourceGroupName : ADFTutorialResourceGroup
   DataFactoryName   : IncCopyChgTrackingDF
   Structure         :
   Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureSqlTableDataset
   

Skapa en källdatauppsättning

I det här steget skapar du en datamängd för att representera data som kopieras från källdatalagret.

1. Skapa en JSON-fil med namnet SinkDataset.json i samma mapp med följande innehåll:

   {
       "name": "SinkDataset",
       "properties": {
           "type": "AzureBlob",
           "typeProperties": {
               "folderPath": "adftutorial/incchgtracking",
               "fileName": "@CONCAT('Incremental-', pipeline().RunId, '.txt')",
               "format": {
                   "type": "TextFormat"
               }
           },
           "linkedServiceName": {
               "referenceName": "AzureStorageLinkedService",
               "type": "LinkedServiceReference"
           }
       }
   }
   

   Du skapar containern adftutorial i din Azure Blob Storage som en del av förutsättningarna. Skapa containern om den inte finns (eller) ställ in den för namnet på en befintlig. I den här genomgången genereras utdatafilens namn dynamiskt med uttrycket: @CONCAT('Incremental-', pipeline().RunId, '.txt').

2. Kör cmdleten Set-AzDataFactoryV2Dataset för att skapa datauppsättningen: SinkDataset

   Set-AzDataFactoryV2Dataset -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "SinkDataset" -File ".\SinkDataset.json"
   

   Här är exempel på utdata från cmdleten:

   DatasetName       : SinkDataset
   ResourceGroupName : ADFTutorialResourceGroup
   DataFactoryName   : IncCopyChgTrackingDF
   Structure         :
   Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureBlobDataset
   

Skapa en datamängd för ändringsspårning

I det här steget skapar du en datauppsättning för att lagra ändringsspårningsversionen.

1. Skapa en JSON-fil med namnet ChangeTrackingDataset.json i samma mapp med följande innehåll:

   {
       "name": " ChangeTrackingDataset",
       "properties": {
           "type": "AzureSqlTable",
           "typeProperties": {
               "tableName": "table_store_ChangeTracking_version"
           },
           "linkedServiceName": {
               "referenceName": "AzureSQLDatabaseLinkedService",
               "type": "LinkedServiceReference"
           }
       }
   }
   

   Du skapar tabellen table_store_ChangeTracking_version som en del av förutsättningarna.

2. Kör cmdleten Set-AzDataFactoryV2Dataset för att skapa datauppsättningen: ChangeTrackingDataset

   Set-AzDataFactoryV2Dataset -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "ChangeTrackingDataset" -File ".\ChangeTrackingDataset.json"
   

   Här är exempel på utdata från cmdleten:

   DatasetName       : ChangeTrackingDataset
   ResourceGroupName : ADFTutorialResourceGroup
   DataFactoryName   : IncCopyChgTrackingDF
   Structure         :
   Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureSqlTableDataset
   

Skapa en pipeline för hela kopian

I det här steget skapar du en pipeline med en kopieringsaktivitet som kopierar hela data från källdatalagret (Azure SQL Database) till måldatalagret (Azure Blob Storage).

1. Skapa en JSON-fil med namnet FullCopyPipeline.json i samma mapp med följande innehåll:

   {
       "name": "FullCopyPipeline",
       "properties": {
           "activities": [{
               "name": "FullCopyActivity",
               "type": "Copy",
               "typeProperties": {
                   "source": {
                       "type": "SqlSource"
                   },
                   "sink": {
                       "type": "BlobSink"
                   }
               },
   
               "inputs": [{
                   "referenceName": "SourceDataset",
                   "type": "DatasetReference"
               }],
               "outputs": [{
                   "referenceName": "SinkDataset",
                   "type": "DatasetReference"
               }]
           }]
       }
   }
   

2. Kör cmdleten Set-AzDataFactoryV2Pipeline för att skapa pipelinen: FullCopyPipeline.

    Set-AzDataFactoryV2Pipeline -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "FullCopyPipeline" -File ".\FullCopyPipeline.json"
   

   Här är exempel på utdata:

    PipelineName      : FullCopyPipeline
    ResourceGroupName : ADFTutorialResourceGroup
    DataFactoryName   : IncCopyChgTrackingDF
    Activities        : {FullCopyActivity}
    Parameters        :
   

Kör den fullständiga kopieringspipeline

Kör pipelinen: FullCopyPipeline med hjälp av cmdleten Invoke-AzDataFactoryV2Pipeline .

Invoke-AzDataFactoryV2Pipeline -PipelineName "FullCopyPipeline" -ResourceGroup $resourceGroupName -dataFactoryName $dataFactoryName        

Övervaka hela kopieringspipelinen

1. Logga in på Azure-portalen.

2. Klicka på Alla tjänster, sök med nyckelordet data factories och välj Datafabriker.

   

3. Sök efter din datafabrik i listan med datafabriker och välj den så att du öppnar sidan Datafabrik.

   

4. På sidan Datafabrik klickar du på panelen Övervaka och hantera.

   

5. Dataintegration-programmet startas på en separat flik. Du kan se alla pipelinekörningar och deras statusar. Observera att i följande exempel är statusen för pipelinekörningen Framgångsrik. Du kan kontrollera parametrarna som skickats till pipelinen genom att klicka på länken i kolumnen Parametrar. Om det uppstod ett fel ser du en länk i kolumnen Fel. Klicka på länken i kolumnen Åtgärder.

   

6. När du klickar på länken i kolumnen Åtgärder ser du följande sida som visar alla aktivitetskörningar för pipelinen.

   

7. Om du vill växla tillbaka till vyn med pipelinekörningar klickar du på Pipelines enligt bilden.

Granska resultaten

Du ser en fil som heter incremental-<GUID>.txt i mappen incchgtracking i containern adftutorial.

Filen ska ha data från databasen:

1,aaaa,21
2,bbbb,24
3,cccc,20
4,dddd,26
5,eeee,22

Lägga till mer data i källtabellen

Kör följande fråga mot databasen för att lägga till en rad och uppdatera en rad.

INSERT INTO data_source_table
(PersonID, Name, Age)
VALUES
(6, 'new','50');


UPDATE data_source_table
SET [Age] = '10', [name]='update' where [PersonID] = 1

Skapa en pipeline för deltakopian

I det här steget skapar du en pipeline med följande aktiviteter och kör den med jämna mellanrum. Uppslagsaktiviteterna hämtar den gamla och den nya SYS_CHANGE_VERSION från Azure SQL Database och skickar den till kopieringsaktiviteten. Aktiviteten copy kopierar infogade/uppdaterade/borttagna data mellan de två SYS_CHANGE_VERSION värdena från Azure SQL Database till Azure Blob Storage. Den lagrade procedur aktiviteten uppdaterar värdet av SYS_CHANGE_VERSION inför nästa pipelinekörning.

1. Skapa en JSON-fil med namnet IncrementalCopyPipeline.json i samma mapp med följande innehåll:

   {
       "name": "IncrementalCopyPipeline",
       "properties": {
           "activities": [
               {
                   "name": "LookupLastChangeTrackingVersionActivity",
                   "type": "Lookup",
                   "typeProperties": {
                       "source": {
                           "type": "SqlSource",
                           "sqlReaderQuery": "select * from table_store_ChangeTracking_version"
                       },
                       "dataset": {
                           "referenceName": "ChangeTrackingDataset",
                           "type": "DatasetReference"
                       }
                   }
               },
               {
                   "name": "LookupCurrentChangeTrackingVersionActivity",
                   "type": "Lookup",
                   "typeProperties": {
                       "source": {
                           "type": "SqlSource",
                           "sqlReaderQuery": "SELECT CHANGE_TRACKING_CURRENT_VERSION() as CurrentChangeTrackingVersion"
                       },
                       "dataset": {
                           "referenceName": "SourceDataset",
                           "type": "DatasetReference"
                       }
                   }
               },
               {
                   "name": "IncrementalCopyActivity",
                   "type": "Copy",
                   "typeProperties": {
                       "source": {
                           "type": "SqlSource",
                           "sqlReaderQuery": "select data_source_table.PersonID,data_source_table.Name,data_source_table.Age, CT.SYS_CHANGE_VERSION, SYS_CHANGE_OPERATION from data_source_table RIGHT OUTER JOIN CHANGETABLE(CHANGES data_source_table, @{activity('LookupLastChangeTrackingVersionActivity').output.firstRow.SYS_CHANGE_VERSION}) as CT on data_source_table.PersonID = CT.PersonID where CT.SYS_CHANGE_VERSION <= @{activity('LookupCurrentChangeTrackingVersionActivity').output.firstRow.CurrentChangeTrackingVersion}"
                       },
                       "sink": {
                           "type": "BlobSink"
                       }
                   },
                   "dependsOn": [
                       {
                           "activity": "LookupLastChangeTrackingVersionActivity",
                           "dependencyConditions": [
                               "Succeeded"
                           ]
                       },
                       {
                           "activity": "LookupCurrentChangeTrackingVersionActivity",
                           "dependencyConditions": [
                               "Succeeded"
                           ]
                       }
                   ],
                   "inputs": [
                       {
                           "referenceName": "SourceDataset",
                           "type": "DatasetReference"
                       }
                   ],
                   "outputs": [
                       {
                           "referenceName": "SinkDataset",
                           "type": "DatasetReference"
                       }
                   ]
               },
               {
                   "name": "StoredProceduretoUpdateChangeTrackingActivity",
                   "type": "SqlServerStoredProcedure",
                   "typeProperties": {
                       "storedProcedureName": "Update_ChangeTracking_Version",
                       "storedProcedureParameters": {
                           "CurrentTrackingVersion": {
                               "value": "@{activity('LookupCurrentChangeTrackingVersionActivity').output.firstRow.CurrentChangeTrackingVersion}",
                               "type": "INT64"
                           },
                           "TableName": {
                               "value": "@{activity('LookupLastChangeTrackingVersionActivity').output.firstRow.TableName}",
                               "type": "String"
                           }
                       }
                   },
                   "linkedServiceName": {
                       "referenceName": "AzureSQLDatabaseLinkedService",
                       "type": "LinkedServiceReference"
                   },
                   "dependsOn": [
                       {
                           "activity": "IncrementalCopyActivity",
                           "dependencyConditions": [
                               "Succeeded"
                           ]
                       }
                   ]
               }
           ]
       }
   }
   

2. Kör cmdleten Set-AzDataFactoryV2Pipeline för att skapa pipelinen: FullCopyPipeline.

    Set-AzDataFactoryV2Pipeline -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "IncrementalCopyPipeline" -File ".\IncrementalCopyPipeline.json"
   

   Här är exempel på utdata:

    PipelineName      : IncrementalCopyPipeline
    ResourceGroupName : ADFTutorialResourceGroup
    DataFactoryName   : IncCopyChgTrackingDF
    Activities        : {LookupLastChangeTrackingVersionActivity, LookupCurrentChangeTrackingVersionActivity, IncrementalCopyActivity, StoredProceduretoUpdateChangeTrackingActivity}
    Parameters        :
   

Kör den inkrementella kopieringspipelinen

Kör pipelinen: IncrementalCopyPipeline med hjälp av cmdleten Invoke-AzDataFactoryV2Pipeline .

Invoke-AzDataFactoryV2Pipeline -PipelineName "IncrementalCopyPipeline" -ResourceGroup $resourceGroupName -dataFactoryName $dataFactoryName     

Övervaka den inkrementella kopieringspipelinen

1. I dataintegrationsprogrammet uppdaterar du vyn för pipelinekörningar. Kontrollera att du ser IncrementalCopyPipeline i listan. Klicka på länken i kolumnen Åtgärder.

   

2. När du klickar på länken i kolumnen Åtgärder ser du följande sida som visar alla aktivitetskörningar för pipelinen.

   Skärmbild som visar pipelinekörningar för en datafabrik där flera markeras som lyckade.

3. Om du vill växla tillbaka till vyn med pipelinekörningar klickar du på Pipelines enligt bilden.

Granska resultaten

Du ser den andra filen i mappen incchgtracking i containern adftutorial.

Filen ska bara ha deltadata från databasen. Posten med U är den uppdaterade raden i databasen och I är den rad som lagts till.

1,update,10,2,U
6,new,50,1,I

De första tre kolumnerna är ändrade data från data_source_table. De sista två kolumnerna är metadata från tabellen med ändringsspårningssystem. Den fjärde kolumnen är SYS_CHANGE_VERSION för varje ändrad rad. Den femte kolumnen är åtgärden: U = uppdatera, I = infoga. Mer information om ändringsspårningsinformation finns i CHANGETABLE.

==================================================================
PersonID Name    Age    SYS_CHANGE_VERSION    SYS_CHANGE_OPERATION
==================================================================
1        update  10            2                                 U
6        new     50            1                                 I

Relaterat innehåll

Fortsätt till följande handledning och lär dig mer om hur du kopierar nya och ändrade filer endast baserat på deras senaste ändringsdatum.