Obter atividade de metadados em Azure Data Factory ou Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Você pode usar a atividade Obter Metadados para recuperar os metadados de qualquer dado no Azure Data Factory ou em um pipeline do Synapse. Você pode usar a saída da atividade de obtenção de metadados em expressões condicionais para executar a validação ou consumir os metadados nas atividades subsequentes.

Criar uma atividade de obtenção de metadados com a interface do usuário

Para usar uma atividade de obtenção de metadados em um pipeline, conclua as seguintes etapas:

1. Pesquise por Obter Metadados no painel Atividades do pipeline e arraste a atividade Obter Metadados para o canvas do pipeline.

2. Selecione a nova atividade Get Metadata na tela, se ainda não estiver selecionada, e a guia Configurações, para editar os detalhes.

3. Escolha um conjunto de dados ou crie um novo com o botão Novo. Em seguida, você pode especificar opções de filtro e adicionar colunas dos metadados disponíveis para o conjunto de dados.

   

4. Use a saída da atividade como uma entrada para outra atividade, como uma atividade Switch neste exemplo. Você pode fazer referência à saída da atividade de metadados em qualquer lugar que o conteúdo dinâmico tenha suporte na outra atividade.

   

5. No editor de conteúdo dinâmico, selecione a saída Get Metadata para fazer referência a ela na outra atividade.

   

Funcionalidades com suporte

A atividade de obtenção de metadados usa um conjunto de dados como uma entrada e retorna informações de metadados como saída. Atualmente, os seguintes conectores e metadados recuperáveis correspondentes são suportados. O tamanho máximo dos metadados retornados é de 4 MB.

Conectores com suporte

Armazenamento de arquivos

¹ Metadados lastModified:

• Para o Amazon S3, o Amazon S3 Compatible Storage, o Google Cloud Storage e o Oracle Cloud Storage, lastModified aplica-se ao bucket e à chave, mas não à pasta virtual, e exists aplica-se ao bucket e à chave, mas não ao prefixo ou à pasta virtual.
• Para Azure Armazenamento de Blobs, lastModified se aplica ao contêiner e ao blob, mas não à pasta virtual.

² Não há suporte para os metadados structure e columnCount ao obter metadados de arquivos binários, JSON ou XML.

³ Metadados exists: para o Amazon S3, o Amazon S3 Compatible Storage, o Google Cloud Storage e o Oracle Cloud Storage, exists aplica-se ao bucket e à chave, mas não ao prefixo ou à pasta virtual.

Observe os seguintes pontos:

• Ao usar a atividade obtenção de metadados em uma pasta, verifique se você tem a permissão LISTAR/EXECUTAR na pasta especificada.

• O filtro de caracteres curingas em pastas/arquivos não é suportado na atividade Get Metadata.

• Conjunto de filtros modifiedDatetimeStart e modifiedDatetimeEnd no conector:

  • Essas duas propriedades são usadas para filtrar os itens filho ao obter metadados de uma pasta. Ele não se aplica ao obter metadados de um arquivo.
  • Quando esse filtro é usado, o childItems na saída inclui apenas os arquivos que são modificados dentro do intervalo especificado, mas não as pastas.
  • Para aplicar esse filtro, a atividade GetMetadata enumera todos os arquivos na pasta especificada e verifica a hora modificada. Evite apontar para uma pasta com um grande número de arquivos, mesmo se a contagem de arquivos qualificados esperada for pequena.

Banco de dados relacional

Opções de metadados

Você pode especificar os seguintes tipos de metadados na lista de campos de atividade de obtenção de metadados para recuperar as informações correspondentes:

Sintaxe

Atividade de obtenção de metadados

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Conjunto de dados

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Propriedades de tipo

Atualmente, a atividade de Obtenção de Metadados pode devolver os seguintes tipos de informações de metadados:

Saída de exemplo

Os resultados de obter metadados são mostrados no resultado da atividade. A seguir temos dois exemplos que mostram opções extensivas de metadados. Para usar os resultados em uma atividade subsequente, use este padrão: @{activity('MyGetMetadataActivity').output.itemName}.

Obter metadados de um arquivo

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Obter metadados de uma pasta

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Conteúdo relacionado

Saiba sobre outras atividades de fluxo de controle compatíveis:

• atividade Execute Pipeline
• Atividade ForEach
• Atividade de pesquisa
• Atividade da Web