Formato de arquivo Excel no Azure Data Factory e Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Siga este artigo quando quiser analisar os arquivos Excel. O serviço é compatível com ".xls" e ".xlsx".

O formato Excel tem suporte para os seguintes conectores: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Arquivos do Azure, File System, FTP, Google Cloud Storage, HDFS, HTTP, Armazenamento em Nuvem da Oracle e SFTP. É compatível como origem, mas não como coletor.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados. Esta seção fornece uma lista de propriedades compatíveis com o conjunto de dados Excel.

Veja abaixo um exemplo de conjunto de dados Excel em Armazenamento de Blobs do Azure:

{
    "name": "ExcelDataset",
    "properties": {
        "type": "Excel",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "sheetName": "MyWorksheet",
            "range": "A3:H5",
            "firstRowAsHeader": true
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção apresenta uma lista de propriedades compatíveis com a fonte do Excel.

Excel como origem

As propriedades a seguir são suportadas na seção de *origem* da atividade de cópia.

"activities": [
    {
        "name": "CopyFromExcel",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "ExcelSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            ...
        }
        ...
    }
]

Mapeamento de propriedades de fluxo de dados

Em fluxos de dados de mapeamento, você pode ler o formato Excel nos seguintes armazenamentos de dados: Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Amazon S3 e SFTP. É possível apontar para arquivos Excel usando o conjunto de dados Excel ou um conjunto de dados embutido.

Propriedades da origem

A tabela abaixo lista as propriedades compatíveis com uma fonte de Excel. Você pode editar essas propriedades na guia Opções de origem. Ao usar o conjunto de dados embutido, é possível ver as configurações de arquivo adicionais, que são iguais às propriedades descritas na seção Propriedades do conjunto.

Exemplo de origem

A imagem abaixo é um exemplo de uma configuração de origem Excel nos fluxos de dados de mapeamento usando o modo de conjunto de dados.

O script de fluxo de dados associado é:

source(allowSchemaDrift: true,
    validateSchema: false,
    wildcardPaths:['*.xls']) ~> ExcelSource

Se você usar o conjunto de dados embutido, verá as seguintes opções de origem no fluxo de dados de mapeamento.

O script de fluxo de dados associado é:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'excel',
    fileSystem: 'container',
    folderPath: 'path',
    fileName: 'sample.xls',
    sheetName: 'worksheet',
    firstRowAsHeader: true) ~> ExcelSourceInlineDataset

Manipulando arquivos de Excel muito grandes

O conector Excel não dá suporte à leitura de streaming para o atividade Copy e deve carregar todo o arquivo na memória antes que os dados possam ser lidos. Para importar esquema, visualizar dados ou atualizar um conjunto de dados Excel, os dados devem ser retornados antes do tempo limite da solicitação http (100s). Para arquivos de Excel grandes, essas operações podem não ser concluídas dentro desse período, causando um erro de tempo limite. Se você quiser mover arquivos de Excel grandes (>100MB) para outro armazenamento de dados, poderá usar uma das seguintes opções para contornar essa limitação:

• Use o SHIR (runtime de integração auto-hospedada) e a atividade Copy para mover o arquivo grande do Excel para outro armazenamento de dados com o SHIR.
• Divida o arquivo de Excel grande em vários menores e use o atividade Copy para mover a pasta que contém os arquivos.
• Use uma atividade de fluxo de dados para mover o arquivo de Excel grande para outro armazenamento de dados. O fluxo de dados dá suporte à leitura de streaming para Excel e pode mover/transferir arquivos grandes rapidamente.
• Converta manualmente o arquivo de Excel grande em formato CSV e use um atividade Copy para mover o arquivo.

Conteúdo relacionado

• Visão geral da atividade de cópia
• Atividade de pesquisa
• Atividade GetMetadata