Formato ORC em Azure Data Factory e Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Siga este artigo quando quiser analisar os arquivos ORC ou gravar os dados no formato ORC.

O formato ORC é suportado para os seguintes conectores: Amazon S3, Armazenamento Compatível com Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Ficheiros do Azure, Sistema de Ficheiros, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage e SFTP.

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados ORC.

Abaixo está um exemplo de conjunto de dados ORC no Armazenamento de Blobs do Azure:

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Tenha em conta os seguintes pontos:

• Tipos de dados complexos (por exemplo, MAP, LIST, STRUCT) são atualmente suportados apenas em Fluxos de Dados, não em Atividade de Cópia. Para usar tipos complexos em fluxos de dados, não importe o esquema de arquivo no conjunto de dados, deixando o esquema em branco no conjunto de dados. Em seguida, na transformação Source, importe a projeção.
• Não há suporte para espaço em branco no nome da coluna.

atividade Copy propriedades

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela origem e pelo coletor ORC.

ORC como fonte

As propriedades a seguir são suportadas na seção copy activity *source* .

ORC como pia

As propriedades a seguir são suportadas na seção de atividade de cópia *sink* .

Configurações de gravação ORC suportadas emformatSettings:

Mapeando propriedades de fluxo de dados

No mapeamento de fluxos de dados, pode ler e escrever para o formato ORC nos seguintes armazenamentos de dados: Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e SFTP, e pode ler o formato ORC em Amazon S3.

Você pode apontar para arquivos ORC usando o conjunto de dados ORC ou usando um conjunto de dados embutido.

Propriedades de origem

A tabela abaixo lista as propriedades suportadas por uma fonte ORC. Você pode editar essas propriedades na guia Opções de origem .

Ao usar o conjunto de dados embutido, você verá configurações de arquivo adicionais, que são as mesmas que as propriedades descritas na seção de propriedades do conjunto de dados.

Exemplo de fonte

O script de fluxo de dados associado de uma configuração de origem ORC é:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

Propriedades do lavatório

A tabela abaixo lista as propriedades suportadas por um coletor ORC. Você pode editar essas propriedades na guia Configurações .

Ao usar o conjunto de dados embutido, você verá configurações de arquivo adicionais, que são as mesmas que as propriedades descritas na seção de propriedades do conjunto de dados.

Exemplo de lavatório

O script de fluxo de dados associado de uma configuração de coletor ORC é:

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

Utilização de Integration Runtime Auto-hospedado

Para cópias a correr em IR auto-hospedado com serialização/desserialização de ficheiros ORC, o serviço localiza o tempo de execução Java verificando primeiro o registo (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) para o JRE, se não for encontrado, e depois verificando a variável do sistema JAVA_HOME para o OpenJDK.

• Para usar o JRE: O IR de 64 bits requer o JRE de 64 bits. Você pode encontrá-lo aqui.
• Para usar o OpenJDK: É suportado desde a versão 3.13 do IR. Empacote o jvm.dll com todos os outros assemblies necessários do OpenJDK na máquina IR auto-hospedada e defina a variável de ambiente do sistema JAVA_HOME de acordo.
• Para instalar o Visual C++ 2010 Redistributable Package: Visual C++ 2010 Redistributable Package não é instalado com instalações IR auto-hospedadas. Você pode encontrá-lo aqui.

Exemplo: definir variável _JAVA_OPTIONS com valor -Xms256m -Xmx16g. O flag Xms especifica o pool inicial de alocação de memória para uma Java Máquina Virtual (JVM), enquanto Xmx especifica o pool máximo de alocação de memória. Isso significa que a JVM será iniciada com Xms quantidade de memória e poderá usar um máximo de Xmx quantidade de memória. Por padrão, o serviço usa min 64 MB e max 1G.

Conteúdos relacionados

• atividade Copy visão geral
• Atividade de Pesquisa
• Atividade GetMetadata