Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Avro é um formato de serialização de dados baseado em linha comumente usado em cargas de trabalho do Apache Hadoop. Este artigo explica como configurar o formato Avro em um pipeline de atividade de cópia no Data Factory do Microsoft Fabric.
Funcionalidades com suporte
O formato Avro tem suporte para as seguintes atividades e conectores como origem e destino.
| Categoria | Conector/Atividade |
|---|---|
| Conector suportado | Amazônia S3 |
| Compatível com o Amazon S3 | |
| Armazenamento de Blobs do Azure | |
| Azure Data Lake Storage Gen2 | |
| Arquivos do Azure | |
| Sistema de arquivos | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| Arquivos do Lakehouse | |
| Armazenamento em Nuvem Oracle | |
| SFTP | |
| Atividade com suporte | Atividade de cópia (fonte/destino) |
| Atividade de pesquisa | |
| Atividade GetMetadata | |
| Excluir atividade |
Formato Avro na atividade de cópia
Para configurar o formato Avro, escolha sua conexão na origem ou no destino da atividade de cópia do pipeline e selecione Avro na lista suspensa de formato de arquivo. Selecione Configurações para configuração adicional desse formato.
Formato Avro como origem
Depois de selecionar Configurações na seção Formato de arquivo, as seguintes propriedades são mostradas na caixa de diálogo pop-up Configurações de formato de arquivo.
Tipo de compactação: escolha na lista suspensa o codec de compactação usado para ler arquivos Avro. Você pode escolher dentre Nenhum ou deflate. Você também pode escolher Adicionar conteúdo dinâmico para especificar o tipo no construtor de expressões.
Nível de compactação: especifique a taxa de compactação. Escolha de 1 a 7. Você também pode escolher Adicionar conteúdo dinâmico para especificar o nível no construtor de expressões.
Formato Avro como destino
Depois de selecionar Configurações, as seguintes propriedades são mostradas na caixa de diálogo pop-up Configurações de formato de arquivo.
Tipo de compactação: escolha o codec de compactação usado para escrever arquivos Avro na lista suspensa. Você pode escolher dentre Nenhum ou deflate. Você também pode escolher Adicionar conteúdo dinâmico para especificar o tipo no construtor de expressões.
Nível de compactação: especifique a taxa de compactação. Escolha de 1 a 7. Você também pode escolher Adicionar conteúdo dinâmico para especificar o nível no construtor de expressões.
Nas configurações Avançadas na guia Destino, as seguintes propriedades relacionadas ao formato Avro são exibidas.
- Máximo de linhas por arquivo: ao gravar dados em uma pasta, você pode optar por gravar em vários arquivos e especificar o máximo de linhas por arquivo.
-
Prefixo de nome de arquivo: aplicável quando o máximo de linhas por arquivo é configurado. Especifique o prefixo do nome do arquivo ao gravar dados em vários arquivos, resultando neste padrão:
<fileNamePrefix>_00000.<fileExtension>. Se não for especificado, o prefixo de nome de arquivo será gerado automaticamente. Essa propriedade não se aplica quando a origem é um repositório baseado em arquivo ou um armazenamento de dados habilitado para uma opção de partição.
Propriedades da atividade de cópia do Avro
Avro como fonte
As propriedades a seguir têm suporte na seção Origem da atividade de cópia ao usar o formato Avro.
| Nome | Descrição | Valor | Obrigatório | Propriedade do script JSON |
|---|---|---|---|---|
| Formato de arquivo | O formato de arquivo que você deseja usar. | Avro | Sim | tipo (em datasetSettings):Avro |
| Tipo de compactação | O codificador de compressão usado para ler arquivos Avro. |
Nenhuma deflate |
Não | avroCompressionCodec: deflate |
| Nível de compactação | A taxa de compactação. | 1 a 7 | Não | avroCompressionLevel: 1 a 7 |
Avro como destino
As propriedades a seguir têm suporte na seção Destino da atividade de cópia ao usar o formato Avro.
| Nome | Descrição | Valor | Obrigatório | Propriedade do script JSON |
|---|---|---|---|---|
| Formato de arquivo | O formato de arquivo que você deseja usar. | Avro | Sim | tipo (em datasetSettings):Avro |
| Tipo de compactação | O codec de compactação usado para gravar arquivos Avro. |
Nenhuma deflate |
Não | avroCompressionCodec: deflate |
| Nível de compactação | A taxa de compactação. | 1 a 7 | Não | avroCompressionLevel: 1 a 7 |
| Máximo de linhas por arquivo | Ao gravar dados em uma pasta, você pode optar por gravar em vários arquivos e especificar o máximo de linhas por arquivo. | < máximo de linhas por arquivo > | Não | máximoDeLinhasPorArquivo |
| Prefixo de nome de arquivo | Aplicável quando o Máximo de linhas por arquivo é configurado. Especifique o prefixo do nome do arquivo ao gravar dados em vários arquivos, resultando neste padrão: <fileNamePrefix>_00000.<fileExtension>. Se não for especificado, o prefixo de nome de arquivo será gerado automaticamente. Essa propriedade não se aplica quando a origem é um repositório baseado em arquivo ou um armazenamento de dados habilitado para uma opção de partição. |
< seu prefixo de nome de arquivo > | Não | fileNamePrefix |