Formato Parquet em Azure Data Factory e Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Siga este artigo quando desejar analisar os arquivos parquet ou gravar os dados no formato parquet.

O formato parquet tem suporte para os seguintes conectores:

• Amazon S3
• Armazenamento compatível com Amazon S3
• Blob do Azure
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Arquivos do Azure
• Sistema de Arquivos
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Armazenamento em Nuvem da Oracle
• SFTP

Para obter uma lista de recursos com suporte para todos os conectores disponíveis, visite o artigo Visão geral dos conectores.

Uso do Integration Runtime auto-hospedado

Para cópia em execução no IR auto-hospedado com serialização/desserialização de arquivo Parquet, o serviço encontra o runtime do Java verificando o registro (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) para JRE, em primeiro lugar e, se não encontrado, realiza, em segundo lugar, a verificação na variável do sistema JAVA_HOME para o OpenJDK.

• Para usar JRE: o IR de 64 bits requer JRE de 64 bits. É possível encontrá-lo aqui.
• Para usar o JDK: o IR de 64 bits requer o JDK 23 de 64 bits. É possível encontrá-lo aqui. Atualize a variável do sistema JAVA_HOME para a pasta raiz da instalação do JDK 23, ou seja, C:\Program Files\Java\jdk-23 e adicione o caminho às pastas C:\Program Files\Java\jdk-23\bin e C:\Program Files\Java\jdk-23\bin\server à variável do sistema Path.
• Para usar o OpenJDK: ele é compatível desde a versão do IR 3.13. Empacote o jvm.dll com todos os outros assemblies necessários do OpenJDK no IR Auto-hospedado do computador e defina a variável de ambiente do sistema JAVA_HOME adequadamente e, em seguida, reinicie o IR Auto-hospedado para entrar em vigor imediatamente. Para baixar o Microsoft Build do OpenJDK, consulte Microsoft Build do OpenJDK™.

Exemplo: defina a variável _JAVA_OPTIONS com o valor -Xms256m -Xmx16g. O sinalizador Xms especifica o pool de alocação de memória inicial para uma JVM (máquina virtual) Java, enquanto Xmx especifica o pool de alocação de memória máximo. Isso significa que a JVM será iniciada com Xms quantidade de memória e será capaz de usar um máximo de Xmx quantidade de memória. Por padrão, o serviço usa no mínimo 64 MB e no máximo 1 G.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados do Parquet.

Veja abaixo um exemplo de conjunto de dados Parquet no Armazenamento de Blobs do Azure:

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades suportadas pela fonte parquet e pelo coletor.

Parquet como fonte

As propriedades a seguir têm suporte na seção de *origem* da atividade Copy.

Parquet como coletor

As propriedades a seguir têm suporte na seção do *coletor* da atividade Copy.

Configurações de gravação de parquet com suporte em formatSettings:

Propriedades do fluxo de dados de mapeamento

Nos fluxos de dados de mapeamento, você pode ler e gravar no formato parquet nos seguintes armazenamentos de dados: Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e SFTP e ler o formato parquet em Amazon S3.

Propriedades da fonte

A tabela abaixo lista as propriedades suportadas por uma fonte parquet. Você pode editar essas propriedades na guia Opções de fonte.

Exemplo de fonte

A imagem abaixo é um exemplo de uma configuração de fonte parquet nos fluxos de dados de mapeamento.

O script de fluxo de dados associado é:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

Propriedades do coletor

A tabela abaixo lista as propriedades suportadas por um coletor parquet. Você pode editar essas propriedades na guia Configurações.

Exemplo de coletor

A imagem abaixo é um exemplo de uma configuração de coletor de parquet nos fluxos de dados de mapeamento.

O script de fluxo de dados associado é:

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Mapeamento de tipo de dados para Parquet

Ao ler dados do conector de origem no formato Parquet, os mapeamentos a seguir são usados usando os tipos de dados Parquet nos tipos de dados provisórios usados pelo serviço internamente.

Ao gravar dados no conector do coletor no formato Parquet, os mapeamentos a seguir são usados usando os tipos de dados provisórios usados pelo serviço internamente nos tipos de dados Parquet.

Para saber mais sobre como a atividade Copy mapeia o tipo de dados e esquema de origem para o coletor, consulte Mapeamentos de tipo de dados e esquema.

Os tipos de dados complexos de parquet (por exemplo, MAP, LIST, STRUCT) são atualmente suportados apenas em Fluxos de Dados, e não em Atividade de Cópia. Para utilizar tipos complexos nos fluxos de dados, não importe o esquema de arquivos no conjunto de dados, deixando o esquema em branco no conjunto de dados. Em seguida, na transformação de Origem, importe a projeção.

Conteúdo relacionado

• Visão geral da atividade de cópia
• Fluxo de dados de mapeamento
• Atividade de pesquisa
• Atividade GetMetadata