Início rápido: Crie seu primeiro fluxo de dados para obter e transformar dados

Os fluxos de dados são uma tecnologia de preparação de dados de autoatendimento baseada em nuvem. Neste artigo, você criará seu primeiro fluxo de dados, obterá dados para seu fluxo de dados, transformará os dados e publicará o fluxo de dados.

Pré-requisitos

Os seguintes pré-requisitos são necessários antes de começar:

• Uma conta de inquilino com uma assinatura ativa do Microsoft Fabric. Criar uma conta gratuita.
• Verifique se você tem um Workspace Microsoft Fabric habilitado: Criar um workspace.

Criação de um fluxo de dados

Nesta seção, você criará seu primeiro fluxo de dados.

1. Navegue até seu workspace Microsoft Fabric navegando até o Microsoft Fabric portal, selecione Workspaces no painel de navegação esquerdo e selecione seu workspace na lista.

2. Selecione +Novo item e selecione Dataflow Gen2.

   

Obter dados

Vamos obter alguns dados! Nesse exemplo, você obterá dados de um serviço OData. Use as etapas a seguir para obter dados em seu fluxo de dados.

1. No editor de fluxo de dados, selecione Obter dados e, em seguida, selecione Mais.

   

2. Em Escolher a fonte de dados, selecione Exibir mais.

   

3. Em Nova fonte, selecione Outro>OData como a fonte de dados.

   

4. Insira o URL https://services.odata.org/v4/northwind/northwind.svc/ e, em seguida, selecione Avançar.

   

5. Selecione as tabelas Ordens e Clientes e, em seguida, selecione Criar.

   

Você pode saber mais sobre a experiência e a funcionalidade de obter dados na visão geral de obter dados.

Aplicar transformações e publicar

Você carregou seus dados em seu primeiro fluxo de dados. Parabéns! Agora é hora de aplicar algumas transformações para trazer esses dados para a forma de que precisamos.

Você transforma os dados no editor de Power Query. Você pode encontrar uma visão geral detalhada do editor de Power Query em A Power Query interface do usuário mas esta seção o levará pelas etapas básicas:

1. Verifique se as ferramentas de Criação de Perfil de Dados estão ativadas. Vá para Home>Opções>Opções Globais, então selecione todas as opções em perfil de coluna.

   

   Além disso, habilite a exibição diagrama usando as configurações de Layout na guia View na faixa de opções do editor Power Query ou selecionando o ícone de exibição de diagrama no lado inferior direito da janela Power Query.

   

2. Na tabela Pedidos, calcule o número total de pedidos por cliente: selecione a coluna CustomerID na visualização de dados e selecione Agrupar Por na guia Transformar na faixa de opções.

   

3. Você realizará uma contagem de linhas como a agregação em Agrupar por. Você pode aprender mais sobre as funcionalidades de Agrupar por em Agrupamento ou resumir linhas.

   

4. Após o agrupamento dos dados na tabela Pedidos, obteremos uma tabela de duas colunas com CustomerID e Contagem como colunas.

   

5. Em seguida, você deseja combinar os dados da tabela Clientes com a contagem de pedidos por cliente: selecione a consulta Clientes no Modo de Exibição de Diagrama e use o menu "⋮" para acessar a transformação Mesclar consultas como nova.

   

6. Configure a operação de mesclagem selecionando CustomerID como a coluna correspondente em ambas as tabelas. Depois, selecione Ok.

   

   Captura de tela da janela Mesclar, com a tabela esquerda para mesclagem definida como a tabela Clientes e a tabela direita para mesclagem definida como a tabela Ordens. A coluna CustomerID é selecionada para as tabelas Clientes e Ordens. Além disso, o Tipo de Junção é definido como Esquerda Externa. Todas as outras seleções são definidas com seu valor padrão.

7. Agora há uma nova consulta com todas as colunas da tabela Clientes e uma coluna com dados aninhados da tabela Pedidos.

   

8. Vamos nos concentrar em apenas algumas colunas da tabela Clientes. Para fazer isso, ative o modo de exibição de esquema selecionando o botão de exibição de esquema no canto inferior direito do editor de fluxo de dados.

   

9. No modo de exibição de esquema, você verá todas as colunas em sua tabela. Selecione CustomerID, CompanyName e Orders (2). Em seguida, vá para a guia Ferramentas de esquema , selecione Remover colunas e escolha Remover outras colunas. Isso mantém apenas as colunas que você deseja.

   

   

10. A coluna Pedidos (2) contém detalhes extras da etapa de mesclagem. Para ver e usar esses dados, selecione o botão Mostrar exibição de dados no canto inferior direito, ao lado de Mostrar exibição de esquema. Em seguida, no cabeçalho da coluna Pedidos (2), selecione o ícone Expandir Coluna e escolha a coluna Contagem. Isso adiciona a contagem de pedidos para cada cliente à sua tabela.

    

    Captura de tela do editor de fluxo de dados com o botão Mostrar vista de dados no canto inferior direito, o ícone para expandir coluna na coluna Pedidos (2) e a coluna Contagem selecionada na janela de expansão de coluna.

11. Agora, vamos classificar seus clientes por quantos pedidos eles fizeram. Selecione a coluna Contagem e, em seguida, vá para a guia Adicionar Coluna e selecione a coluna Classificação. Isso adiciona uma nova coluna mostrando a classificação de cada cliente com base na contagem de pedidos.

    

12. Mantenha as configurações padrão em Coluna de Classificação. Em seguida, selecione OK para aplicar essa transformação.

    

13. Agora renomeie a consulta resultante como Clientes classificados usando o painel Configurações da consulta no lado direito da tela.

    

14. Você está pronto para definir para onde seus dados vão. No painel Configurações de Consulta , role até a parte inferior e selecione Escolher destino de dados.

    

15. Você pode enviar seus resultados para um armazenamento de dados do tipo lakehouse se tiver um, ou ignorar esta etapa se não o fizer. Aqui, você pode escolher qual lakehouse e tabela usar para seus dados e escolher se deseja adicionar novos dados (Acrescentar) ou substituir o que está lá (Substituir).

    

    

16. Seu fluxo de dados agora está pronto para ser publicado. Revise as consultas na exibição do diagrama e selecione Publicar.

    

    Selecione Publicar no canto inferior direito para salvar o fluxo de dados. Você voltará ao seu workspace, onde um ícone de rotador ao lado do nome do fluxo de dados mostra que ele está publicando. Quando o spinner desaparecer, o fluxo de dados estará pronto para atualização!

    Importante

    Na primeira vez que você cria um Dataflow Gen2 em um workspace, o Fabric configura alguns componentes de suporte (Lakehouse e Warehouse) que ajudam na execução do Dataflow. Esses itens são compartilhados por todos os fluxos de dados no workspace e você não deve excluí-los. Eles não devem ser usados diretamente e geralmente não estão visíveis em seu workspace, mas você pode vê-los em outros lugares, como Notebooks ou análise de SQL. Procure nomes que começam com DataflowStaging para localizá-los.

17. Em sua área de trabalho, selecione o ícone de Agendar Atualização.

    

18. Ative a atualização agendada, selecione Adicionar outro horário e configure a atualização conforme mostrado na captura de tela a seguir.

    

    Captura de tela das opções de atualização agendada, com a atualização agendada ativada, a frequência de atualização definida como Diária, o fuso horário definido como Horário Universal Coordenado (UTC) e a hora definida como às 4h. O botão Ativar, a seleção Adicionar outro horário, o proprietário do fluxo de dados e o botão Aplicar são enfatizados.

Limpar os recursos

Se você não pretende continuar usando esse fluxo de dados, exclua o fluxo de dados usando as etapas a seguir:

1. Navegue até o espaço de trabalho do Microsoft Fabric.

2. Selecione as reticências verticais ao lado do nome do fluxo de dados e selecione Excluir.

   

3. Selecione Excluir para confirmar a exclusão do seu fluxo de dados.

   

Conteúdo relacionado

O fluxo de dados neste exemplo mostra como carregar e transformar dados no Dataflow Gen2. Você aprendeu a:

Avance para o próximo artigo para saber como criar seu primeiro pipeline.