Cenário de ponta a ponta do Data Factory: introdução e arquitetura

Este tutorial orienta você por um cenário completo de integração de dados em cerca de uma hora. Você aprenderá os principais recursos do Data Factory em Microsoft Fabric e como aplicá-los a fluxos de trabalho de dados comuns.

O que você vai construir

Este tutorial inclui uma introdução e três módulos:

• Módulo 1– Ingestão de dados com um trabalho de cópia: crie um trabalho de cópia autônomo para ingerir dados brutos do armazenamento de blobs em uma tabela bronze em um Lakehouse.
• Módulo 2– Transformar dados com um fluxo de dados: processar dados brutos da tabela bronze e movê-los para uma tabela de ouro no Lakehouse.
• Módulo 3- Orquestrar e automatizar com um pipeline: crie um pipeline para orquestrar a tarefa de cópia e o fluxo de dados, enviar uma notificação por e-mail quando as tarefas forem concluídas e agendar todo o fluxo.

Fábrica de Dados no Microsoft Fabric

Microsoft Fabric é uma plataforma de análise unificada que abrange movimentação de dados, data lakes, engenharia de dados, integração de dados, ciência de dados, análise em tempo real e business intelligence. Você não precisa reunir serviços de vários fornecedores.

Data Factory no Fabric combina a facilidade de uso de Power Query com a escala de Azure Data Factory. Ele oferece preparação de dados com baixo código, habilitada para IA, transformação em escala petabyte e centenas de conectores com conectividade híbrida e multinuvem.

Características principais

O Data Factory fornece três recursos principais para suas necessidades de integração de dados:

• Ingestão de dados com trabalho de cópia: um trabalho de cópia é o ponto de partida recomendado para ingestão de dados. Ele move dados em escala petabyte de centenas de fontes de dados para seu Lakehouse, com suporte nativo para cópia em massa, incremental e baseada em CDC - sem a necessidade de criar um pipeline.
• Transformação de dados: o Dataflow Gen2 fornece uma interface de baixo código para transformar seus dados com mais de 300 transformações. Você pode carregar resultados em vários destinos, como Azure SQL Database, Lakehouse e muito mais.
• Automação de ponta a ponta: Pipelines orquestram atividades, incluindo tarefa de cópia, fluxo de dados, notebook e mais. Encadear atividades em conjunto para serem executadas sequencialmente ou em paralelo. Monitore todo o fluxo de integração de dados em um só lugar.

Arquitetura do tutorial

Você explorará os três principais recursos ao concluir um cenário de integração de dados de ponta a ponta.

O cenário inclui três módulos:

1. Ingerir dados com um trabalho de Cópia: Crie um trabalho autônomo de Cópia para ingerir dados brutos do Azure Blob Storage em uma tabela bronze em um Lakehouse.
2. Transformar dados com um fluxo de dados: processe os dados brutos da tabela bronze e mova-os para uma tabela de ouro .
3. Orquestrar e automatizar com um pipeline: crie um pipeline para orquestrar o trabalho de Cópia e o fluxo de dados, enviar uma notificação por email e agendar todo o fluxo.

Este tutorial usa o conjunto de dados de exemplo NYC-Taxi . Ao concluir, você pode analisar descontos diários em tarifas de táxi por um período específico usando o Data Factory em Microsoft Fabric.

Próxima etapa