Compartilhar via

Formato binário no Azure Data Factory e no Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Data Factory no Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA interna e novos recursos. Se você não estiver familiarizado com a integração de dados, comece com Fabric Data Factory. As cargas de trabalho existentes do ADF podem ser atualizadas para Fabric para acessar novos recursos em ciência de dados, análise em tempo real e relatórios.

O formato binário tem suporte para os seguintes conectores: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Arquivos do Azure, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage e SFTP.

Você pode usar o conjunto de dados binário em atividade Copy, GetMetadata activity ou Delete activity. Ao usar o conjunto de dados binário, o serviço não analisa o conteúdo do arquivo, mas o trata no seu estado original.

Observação

Ao usar o conjunto de dados binário na atividade de cópia, você só pode copiar de um conjunto de dados binário para outro conjunto de dados binário.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados Binary.

Propriedade Descrição Obrigatório
tipo A propriedade Type do conjunto de dados deve ser definida como Binary. Sim
local Configurações de local dos arquivos. Cada conector baseado em arquivo tem seu próprio tipo de local e propriedades com suporte em location. Veja os detalhes na seção do artigo sobre o conector –> Propriedades do conjunto de dados. Sim
compactação Grupo de propriedades para configurar a compactação de arquivo. Configure esta seção quando desejar fazer compactação/descompactação durante a execução da atividade. Não
tipo O codec de compactação usado para ler/gravar arquivos binários.
Os valores permitidos são bzip2, gzip, deflate, ZipDeflate, Tar, ou TarGzip.
Nota ao utilizar a atividade Copy para descompactar arquivos ZipDeflate/TarGzip/Tar e gravá-los em um armazenamento de dados de destino baseado em arquivos, os conteúdos são extraídos, por padrão, para a pasta especificada:<path specified in dataset>/<folder named as source compressed file>/ use preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolder nas configurações da origem da atividade de cópia para definir se o nome dos arquivos compactados deve ser preservado como estrutura de pastas.		 Não
nível A taxa de compactação. Aplicar quando o conjunto de um for usado no coletor da atividade de cópia.
Os valores permitidos são Ideal ou Mais rápida.
- Mais rápida: a operação de compactação deve ser concluída o mais rápido possível, mesmo se o arquivo resultante não for compactado da maneira ideal.
- Ideal: a operação de compactação deve ser concluída da maneira ideal, mesmo se a operação demorar mais tempo para ser concluída. Para saber mais, veja o tópico Nível de compactação .		 Não

Veja abaixo um exemplo de conjunto de dados binário no Armazenamento de Blobs do Azure:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte e pelo coletor Binary.

Observação

Ao usar o DataSet binário na atividade de cópia, você só pode copiar de um DataSet binário para outro DataSet binário.

Binário como fonte

As propriedades a seguir têm suporte na seção de *origem* da atividade de cópia.

Propriedade Descrição Obrigatório
tipo A propriedade "type" da fonte da atividade de cópia deve ser definida como BinarySource. Sim
configuraçõesDeFormato Um grupo de propriedades. Consulte a tabela de configurações de leitura binárias abaixo. Não
storeSettings Um grupo de propriedades sobre como ler dados de um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de leitura com suporte em storeSettings. Veja os detalhes na seção do artigo sobre o conector –> Propriedades da atividade Copy. Não

Configurações de leitura binária com suporte em formatSettings:

Propriedade Descrição Obrigatório
tipo O tipo de formatSettings deve ser definido como BinaryReadSettings. Sim
compressionProperties Um grupo de propriedades sobre como descompactar dados para um determinado codec de compactação. Não
preserveZipFileNameAsFolder
(em compressionProperties->type como ZipDeflateReadSettings)		 Aplica-se quando o conjunto de dados de entrada é configurado com compactação ZipDeflate. Indica se o nome do arquivo zip de origem deve ser preservado como estrutura de pastas durante a cópia.
- Quando definido como verdadeiro (padrão), o serviço grava arquivos descompactados em <path specified in dataset>/<folder named as source zip file>/.
• Quando definido como falso, o serviço grava arquivos descompactados diretamente em <path specified in dataset>. Verifique se não há nomes de arquivo duplicados nos arquivos zip de origem diferentes para evitar a corrida ou comportamento inesperado.		 Não
preserveCompressionFileNameAsFolder
(em compressionProperties->type como TarGZipReadSettings ou TarReadSettings)		 Aplica-se quando o conjunto de dados de entrada é configurado com compactação TarGzip/Tar. Indica se o nome do arquivo compactado de origem deve ser preservado como estrutura de pastas durante o processo de cópia.
• Quando definido como verdadeiro (padrão) , o serviço grava arquivos descompactados em <path specified in dataset>/<folder named as source compressed file>/.
• Quando definido como falso, o serviço grava arquivos descompactados diretamente em <path specified in dataset>. Verifique se não há nomes de arquivo duplicados nos arquivos de origem diferentes para evitar a corrida ou comportamento inesperado.		 Não 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Binary como coletor

As propriedades a seguir têm suporte na seção *sink* da atividade de cópia.

Propriedade Descrição Obrigatório
tipo A propriedade type da fonte da atividade de cópia deve ser definida como BinarySink. Sim
storeSettings Um grupo de propriedades sobre como gravar dados em um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de gravação com suporte em storeSettings. Veja os detalhes na seção do artigo sobre o conector –> Propriedades da atividade Copy. Não

Conteúdo relacionado

  • Last updated on