Práticas recomendadas para gravar em arquivos no data Lake com fluxos de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Se você não estiver familiarizado com Azure Data Factory, consulte Introduction para Azure Data Factory.

Neste tutorial, você aprenderá as práticas recomendadas que podem ser aplicadas ao gravar arquivos no ADLS Gen2 ou Armazenamento de Blobs do Azure usando fluxos de dados. Você precisará de acesso a uma conta do Armazenamento de Blobs do Azure ou uma conta do Azure Data Lake Store Gen2 para ler um arquivo parquet e armazenar os resultados em pastas.

Pré-requisitos

• Assinatura do Azure. Se você não tiver uma assinatura Azure, crie uma conta de Azure free antes de começar.
• Azure conta de armazenamento. Você usa o armazenamento do ADLS como um armazenamento de dados de origem e do coletor. Se você não tiver uma conta de armazenamento, consulte Criar uma conta de armazenamento Azure para ver as etapas para criar uma.

As etapas neste tutorial supõem que você tem

Criar uma fábrica de dados

Nesta etapa, você cria um data factory e abre a UX do Data Factory para criar um pipeline no data factory.

1. Abra Microsoft Edge ou Google Chrome. Atualmente, a interface do usuário do Data Factory tem suporte apenas nos navegadores da Web Microsoft Edge e do Google Chrome.

2. No menu à esquerda, escolha Criar um recurso>Integração>Data Factory

3. Na página Nova fábrica de dados, em Nome, insira ADFTutorialDataFactory

4. Selecione a assinatura do Azure na qual você deseja criar a fábrica de dados.

5. Em Grupo de Recursos, use uma das seguintes etapas:

   a. Selecione Usar existentee selecione um grupo de recursos existente na lista suspensa.

   b. Selecione Criar novoe insira o nome de um grupo de recursos. Para saber mais sobre grupos de recursos, consulte Use grupos de recursos para gerenciar seus recursos Azure.

6. Em Versão, selecione V2.

7. Em Local, selecione uma localização para o Data Factory. Apenas os locais com suporte são exibidos na lista suspensa. Armazenamentos de dados (por exemplo, Armazenamento do Azure e Banco de Dados SQL) e computação (por exemplo, Azure HDInsight) usados pelo data factory podem estar em outras regiões.

8. Selecione Criar.

9. Depois que a criação for concluída, você verá o aviso no centro de notificações. Selecione Ir para o recurso para navegar até a página do Data Factory.

10. Clique em Criar e Monitorar para iniciar a IU do Azure Data Factory em uma guia separada.

Criar um pipeline com uma atividade de fluxo de dados

Nesta etapa, você criará um pipeline que contém uma atividade de fluxo de dados.

1. Na home page do Azure Data Factory, selecione Orchestrate.

   

2. Na guia Geral do pipeline, insira DeltaLake como o Nome do pipeline.

3. Na barra superior da fábrica, deslize o controle deslizante de Depuração do Fluxo de Dados para a posição ligado. O modo de depuração permite testes interativos da lógica de transformação em um cluster do Spark em execução. Fluxo de Dados clusters levam de 5 a 7 minutos para aquecer, e é recomendado que os usuários ativem a depuração antes, se planejam desenvolver no Fluxo de Dados. Para saber mais, consulte Modo de depuração.

   

4. No painel Atividades, expanda o acordeão Mover e Transformar. Arraste e solte a atividade de Fluxo de Dados do painel para a tela do pipeline.

   

Criar lógica de transformação na tela de fluxo de dados

Você receberá qualquer dado de origem (neste tutorial, usaremos uma fonte de arquivo Parquet) e usará uma transformação de coletor para colocar os dados no formato Parquet usando os mecanismos mais eficazes para ETL do data lake.

Objetivos do tutorial

1. Escolha qualquer um dos seus conjuntos de dados de origem em um novo fluxo de dados. Use fluxos de dados para particionar efetivamente seu conjunto de dados de destino.
2. Colocar seus dados particionados em pastas de lakes do ADLS Gen2

Começar a partir de uma tela de fluxo de dados em branco

Primeiro, vamos configurar o ambiente de fluxo de dados para cada um dos mecanismos descritos abaixo para enviar dados no ADLS Gen2

1. Clique na transformação de origem.
2. Clique no botão novo ao lado de conjunto de dados no painel inferior.
3. Escolha ou crie um conjunto de dados. Para esta demonstração, usaremos um conjunto de dados Parquet chamado de “User Data”.
4. Adicione uma transformação de coluna derivada. Usaremos isso como uma maneira de definir os nomes de pasta desejados dinamicamente.
5. Adicione uma transformação de coletor.

Saída de pasta hierárquica

É muito comum usar valores exclusivos nos dados para criar hierarquias de pastas para particionar esses dados no lake. Essa é uma maneira ideal de organizar e processar dados no lake e no Spark (o mecanismo de computação por trás dos fluxos de dados). No entanto, organizar a saída dessa maneira custará um pouco de desempenho. Você terá uma pequena redução no desempenho geral do pipeline com esse mecanismo no coletor.

1. Volte ao designer de fluxo de dados e edite o fluxo de dados criado acima. Clique na transformação do coletor.
2. Clique em Otimizar > Definir chave de particionamento >
3. Escolha as colunas que você quer usar para definir a estrutura hierárquica de pastas.
4. Observe que o exemplo a seguir usa ano e mês como as colunas para nomear a pasta. Os resultados serão pastas na forma releaseyear=1990/month=8.
5. Ao acessar as partições de dados em uma fonte de fluxo de dados, você apontará apenas para a pasta de nível superior acima de releaseyear e usará um padrão curinga para cada pasta seguinte, por exemplo: **/**/*.parquet
6. Para manipular os valores de dados ou mesmo se precisar gerar valores sintéticos para nomes de pastas, use a transformação de coluna derivada para criar os valores que você quer usar nos nomes de pasta.

Nomear pasta com valores de dados

Uma técnica de coletor com desempenho um pouco melhor para os dados do lake que usa ADLS Gen2, que não oferece o mesmo benefício do particionamento de chave/valor, é Name folder as column data. Enquanto o estilo de particionamento de chave da estrutura hierárquica permite que você processe fatias de dados com mais facilidade, essa técnica é uma estrutura de pastas nivelada que pode gravar dados mais rapidamente.

1. Volte ao designer de fluxo de dados e edite o fluxo de dados criado acima. Clique na transformação do coletor.
2. Clique em Otimizar > Definir particionamento > Usar particionamento atual.
3. Clique em Configurações > Nomear pasta como dados de coluna.
4. Escolha a coluna que você quer usar para gerar nomes de pastas.
5. Para manipular os valores de dados ou mesmo se precisar gerar valores sintéticos para nomes de pastas, use a transformação de coluna derivada para criar os valores que você quer usar nos nomes de pasta.

Nomeie o arquivo segundo os valores de dados

As técnicas listadas nos tutoriais acima são bons casos de uso para a criação de categorias de pastas no data lake. O esquema de nomenclatura de arquivo padrão empregado por essas técnicas é usar o ID do trabalho do executor Spark. Às vezes, você pode querer definir o nome do arquivo de saída em um coletor de texto de fluxo de dados. Essa técnica só é sugerida para arquivos pequenos. O processo de mesclagem de arquivos de partição em um único arquivo de saída é um processo de execução prolongada.

1. Volte ao designer de fluxo de dados e edite o fluxo de dados criado acima. Clique na transformação do coletor.
2. Clique em Otimizar > Definir particionamento > Partição única. Esse é o requisito de partição única que cria um gargalo no processo de execução à medida que os arquivos são mesclados. Essa opção só é recomendada para arquivos pequenos.
3. Clique em Configurações > Nomeie o arquivo como 'dados de coluna'.
4. Escolha a coluna que você quer usar para gerar nomes de arquivos.
5. Para manipular os valores de dados ou mesmo se precisar gerar valores sintéticos para nomes de arquivo, use a transformação de coluna derivada para criar os valores que você quer usar nos nomes de arquivo.

Conteúdo relacionado

Saiba mais sobre coletores de fluxo de dados.