Formato Parquet no Azure Data Factory e Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Siga este artigo quando quiser analisar os arquivos Parquet ou gravar os dados no formato Parquet.

O formato Parquet é suportado para os seguintes conectores:

• Amazon S3
• Armazenamento compatível com Amazon S3
• Azure Blob
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Ficheiros do Azure
• Sistema de Ficheiros
• FTP
• Armazenamento em nuvem do Google
• HDFS
• HTTP
• Armazenamento em nuvem Oracle
• SFTP

Para obter uma lista de recursos suportados para todos os conectores disponíveis, visite o artigo Visão geral dos conectores.

Utilização de Runtime de Integração Autogerido

Para cópias executadas em IR auto-hospedado com serialização/desserialização de ficheiros Parquet, o serviço localiza o Java runtime verificando primeiro o registo (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) para JRE; se não for encontrado, verifica em seguida a variável do sistema JAVA_HOME para OpenJDK.

• Para usar o JRE: O IR de 64 bits requer o JRE de 64 bits. Você pode encontrá-lo aqui.
• Para usar o JDK: o IR de 64 bits requer o JDK 23 de 64 bits. Você pode encontrá-lo aqui. Certifique-se de atualizar a variável de sistema JAVA_HOME para a pasta raiz da instalação do JDK 23, ou seja, C:\Program Files\Java\jdk-23, e adicione o caminho para as pastas C:\Program Files\Java\jdk-23\bin e C:\Program Files\Java\jdk-23\bin\server para a variável de sistema Path.
• Para usar o OpenJDK: É suportado desde a versão 3.13 do IR. Empacote o jvm.dll com todos os outros assemblies necessários do OpenJDK na máquina IR auto-hospedada e defina a variável de ambiente do sistema JAVA_HOME de acordo e, em seguida, reinicie o IR auto-hospedado para entrar em vigor imediatamente. Para descarregar o Microsoft Build do OpenJDK, consulte Microsoft Build do OpenJDK™.

Exemplo: definir variável _JAVA_OPTIONS com valor -Xms256m -Xmx16g. O flag Xms especifica o pool inicial de alocação de memória para uma Java Máquina Virtual (JVM), enquanto Xmx especifica o pool máximo de alocação de memória. Isso significa que a JVM será iniciada com Xms quantidade de memória e poderá usar um máximo de Xmx quantidade de memória. Por padrão, o serviço usa min 64 MB e max 1G.

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados Parquet.

Abaixo está um exemplo de conjunto de dados Parquet no Armazenamento de Blobs do Azure:

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte e pia do Parquet.

Parquet como fonte

As propriedades a seguir são suportadas na seção copy activity *source* .

Parquet como lavatório

As propriedades a seguir são suportadas na seção de atividade de cópia *sink* .

Configurações de gravação do Parquet suportadas em formatSettings.

Mapeando propriedades de fluxo de dados

No mapeamento de fluxos de dados, pode ler e escrever para formato parquet nos seguintes armazenamentos de dados: Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e SFTP, e pode ler o formato parquet em Amazon S3.

Propriedades de origem

A tabela abaixo lista as propriedades suportadas por uma fonte de parquet. Você pode editar essas propriedades na guia Opções de origem .

Exemplo de fonte

A imagem abaixo é um exemplo de uma configuração de fonte de parquet no mapeamento de fluxos de dados.

O script de fluxo de dados associado é:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

Propriedades do lavatório

A tabela abaixo lista as propriedades suportadas por uma pia de parquet. Você pode editar essas propriedades na guia Configurações .

Exemplo de lavatório

A imagem abaixo é um exemplo de uma configuração de coletor de parquet no mapeamento de fluxos de dados.

O script de fluxo de dados associado é:

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Mapeamento de tipo de dados para Parquet

Ao ler dados do conector de origem no formato Parquet, os mapeamentos a seguir são usados de tipos de dados Parquet para tipos de dados intermédios usados pelo serviço internamente.

Ao gravar dados no conector de destino no formato Parquet, os mapeamentos a seguir são usados de tipos de dados provisórios usados pelo serviço internamente para tipos de dados Parquet.

Para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o destino, consulte Mapeamentos de esquema e tipo de dados.

Atualmente, tipos de dados complexos de Parquet (por exemplo, MAP, LIST, STRUCT) são suportados apenas em Fluxos de Dados, não em Atividade de Cópia. Para usar tipos complexos em fluxos de dados, não importe o esquema de arquivo no conjunto de dados, deixando o esquema em branco no conjunto de dados. Em seguida, na transformação Source, importe a projeção.

Conteúdos relacionados

• Visão geral da atividade de cópia
• Fluxo de dados de mapeamento
• Atividade de Pesquisa
• Atividade GetMetadata