Partilhar via

Iceberg format in Azure Data Factory e Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.

Siga este artigo quando quiser escrever os dados no formato Iceberg.

O formato Iceberg é suportado para os seguintes conectores:

Pode usar o conjunto de dados Iceberg em atividade Copy.

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados do formato Iceberg.

Propriedade Descrição Obrigatório
tipo A propriedade type do conjunto de dados deve ser definida como Iceberg. Sim
localização Configurações de localização do(s) arquivo(s). Cada conector com base em ficheiro tem o seu próprio tipo de localização e propriedades suportadas em location. Sim

Abaixo está um exemplo de conjunto de dados Iceberg no Azure Data Lake Storage Gen2:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pelo dissipador de Iceberg.

Iceberg como dissipador

As propriedades a seguir são suportadas na seção de atividade de cópia *sink* .

Propriedade Descrição Obrigatório
tipo A propriedade type da fonte de atividade de cópia deve ser definida como IcebergSink. Sim
configuraçõesDeFormato Um grupo de propriedades. Consulte a tabela abaixo de configurações de gravação do Iceberg. Não
configurações da loja Um grupo de propriedades sobre como gravar dados em um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de gravação suportadas em storeSettings. Não

Configurações de gravação de Iceberg suportadas em formatSettings:

Propriedade Descrição Obrigatório
tipo O tipo de formatSettings deve ser definido como IcebergWriteSettings. Sim

Aqui estão alguns conectores e formatos comuns relacionados ao formato de texto delimitado:

Conteúdos relacionados

  • Last updated on