Formato ORC no Azure Data Factory e no Synapse Analytics

APPLIES TO: Azure Data Factory Azure Synapse Analytics

Siga este artigo quando desejar analisar os arquivos ORC ou gravar os dados no formato ORC.

O formato ORC tem suporte para os seguintes conectores: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Arquivos do Azure, File System, FTP, Google Cloud Storage, HDFS, HTTP, Exibir Armazenamento em Nuvem e SFTP.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados. Esta seção fornece uma lista das propriedades compatíveis pelo conjunto de dados ORC.

Veja abaixo um exemplo de conjunto de dados ORC no Armazenamento de Blobs do Azure:

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Observe os seguintes pontos:

• Os tipos de dados complexos (por exemplo, MAP, LIST, STRUCT) são compatíveis atualmente apenas com Fluxos de Dados, e não com Atividade Copy. Para utilizar tipos complexos nos fluxos de dados, não importe o esquema de arquivos no conjunto de dados, deixando o esquema em branco no conjunto de dados. Em seguida, na transformação de Origem, importe a projeção.
• Não há suporte para o espaço em branco no nome da coluna.

propriedades atividade Copy

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades aceitas pela fonte e pelo coletor ORC.

ORC como fonte

As propriedades a seguir têm suporte na seção de *origem* da atividade de cópia.

ORC como coletor

As propriedades a seguir têm suporte na seção do *coletor* da atividade de cópia.

Configurações de gravação de ORC compatíveis em formatSettings:

Mapeamento de propriedades de fluxo de dados

Nos fluxos de dados de mapeamento, você pode ler e gravar no formato ORC nos seguintes armazenamentos de dados: Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e SFTP e você pode ler o formato ORC em Amazon S3.

É possível apontar para arquivos ORC usando o conjunto de programas ORC ou um conjunto de dados embutido.

Propriedades da Origem

A tabela abaixo lista as propriedades aceitas por uma origem ORC. Você pode editar essas propriedades na guia Opções de origem.

Ao usar o conjunto de linhas embutido, será possível ver as configurações de arquivo adicionais, que são iguais às propriedades descritas na seção Propriedades do conjunto.

Exemplo de origem

O script de fluxo de dados associado de uma configuração de origem ORC é:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

Propriedades do coletor

A tabela abaixo lista as propriedades aceitas por um coletor do ORC. Você pode editar essas propriedades na guia Configurações.

Ao usar o conjunto de linhas embutido, será possível ver as configurações de arquivo adicionais, que são iguais às propriedades descritas na seção Propriedades do conjunto.

Exemplo de coletor

O script de fluxo de dados associado de uma configuração de coletor do ORC é:

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

Usando Integration Runtime auto-hospedada

Para cópia em execução no IR auto-hospedado com serialização/desserialização de arquivos ORC, o serviço localiza o runtime do Java verificando primeiro o registro (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) para JRE, se não encontrado, verificando em segundo lugar a variável do sistema JAVA_HOME para OpenJDK.

• Para usar JRE: o IR de 64 bits requer JRE de 64 bits. É possível encontrá-lo aqui.
• Para usar o OpenJDK: ele é compatível desde a versão do IR 3.13. Empacote o jvm.dll com todos os outros assemblies necessários do OpenJDK no IR auto-hospedado do computador e defina a variável de ambiente JAVA_HOME adequadamente.
• Para instalar Visual C++ 2010 Redistributable Package: o Visual C++ 2010 Redistributable Package não é instalado com instalações de IR auto-hospedado. É possível encontrá-lo aqui.

Exemplo: defina a variável _JAVA_OPTIONS com o valor -Xms256m -Xmx16g. O sinalizador Xms especifica o pool de alocação de memória inicial para uma JVM (máquina virtual) Java, enquanto Xmx especifica o pool de alocação de memória máximo. Isso significa que a JVM será iniciada com Xms quantidade de memória e será capaz de usar um máximo de Xmx quantidade de memória. Por padrão, o serviço usa no mínimo 64 MB e no máximo 1 G.

Conteúdo relacionado

• visão geral atividade Copy
• Atividade de pesquisa
• Atividade GetMetadata