Registo de sessão numa atividade de cópia

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Pode registar os nomes dos ficheiros copiados numa atividade de cópia. Isso pode ajudar a garantir que os dados não apenas copiem com êxito da origem para o destino, mas também validem a consistência entre origem e destino.

Quando ativa a definição de tolerância a falhas numa atividade de cópia para ignorar dados defeituosos, os ficheiros e linhas ignorados também podem ser registados. Você pode obter mais detalhes sobre a tolerância a falhas na atividade de cópia.

Dada a oportunidade de obter todos os nomes de ficheiros copiados pelo Azure Data Factory (ADF) atividade Copy ativando o session log, será útil para si nos seguintes cenários:

• Depois de usar as atividades de cópia do ADF para copiar os arquivos de um armazenamento para outro, você encontrará alguns arquivos inesperados no armazenamento de destino. Podes analisar os registos de sessão do atividade Copy para ver qual atividade copiou realmente os ficheiros e quando. Com essa abordagem, você pode encontrar facilmente a causa raiz e corrigir suas configurações no ADF.
• Depois de usar as atividades de cópia do ADF para copiar os arquivos de um armazenamento para outro, você descobre que os arquivos copiados para o destino não são os esperados do armazenamento de origem. Pode analisar os registos de sessão do atividade Copy para obter o carimbo temporal dos trabalhos de cópia, bem como os metadados dos ficheiros quando as atividades ADF Copy os leem do armazenamento de origem. Com essa abordagem, você pode confirmar se os arquivos foram atualizados por outros aplicativos no armazenamento de origem depois de serem copiados pelo ADF.

Configuração com JSON

O exemplo a seguir fornece uma definição JSON para habilitar o log de sessão em Copy Activity:

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

Monitorização

Saída de uma atividade de cópia

Depois de a atividade de cópia ser concluída, pode ver o caminho dos ficheiros de log a partir do resultado de cada execução da atividade de cópia. Você pode encontrar os arquivos de log no caminho: https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt. Os arquivos de log gerados têm a extensão .txt e seus dados estão em formato CSV.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

O esquema do arquivo de log

A tabela a seguir mostra o esquema de um arquivo de log.

Aqui está um exemplo de um arquivo de log:

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

No arquivo de log acima, você pode ver sample1.csv foi ignorado porque não foi verificado se era consistente entre o armazenamento de origem e de destino. Podes obter mais detalhes sobre porque sample1.csv se torna inconsistente porque estava a ser alterado por outras aplicações quando o ADF atividade Copy copiava ao mesmo tempo. Você também pode ver que o sample2.csv foi copiado com sucesso da loja de origem para a de destino.

Você pode usar vários mecanismos de análise para analisar ainda mais os arquivos de log. Há alguns exemplos abaixo para usar a consulta SQL para analisar o arquivo de log importando o arquivo de log csv para o banco de dados SQL, onde o nome da tabela pode ser SessionLogDemo.

• Dê-me a lista de arquivos copiados.

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

• Dê-me a lista de arquivos copiados dentro de um intervalo de tempo específico.

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

• Dê-me um ficheiro específico com a data de cópia e metadados.

select * from SessionLogDemo where OperationItem='<file name>'

• Dê-me uma lista de arquivos com seus metadados copiados dentro de um intervalo de tempo.

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

• Dê-me a lista de arquivos ignorados.

select OperationItem from SessionLogDemo where OperationName='FileSkip'

• Dê-me a razão pela qual um determinado arquivo foi ignorado.

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

• Dê-me a lista de ficheiros que foram ignorados pelo mesmo motivo: "ficheiro blob não existe".

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

• Dê-me o nome de arquivo que requer o maior tempo para copiar.

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

Conteúdos relacionados

Veja os outros artigos de "Copy Activity":

• Visão geral da atividade de cópia
• Tolerância a falhas da atividade de cópia
• Consistência de dados da atividade de cópia