O que é o Dataflow Gen2?

Os fluxos de dados são uma ferramenta baseada em nuvem que ajuda você a preparar e transformar dados sem escrever código. Eles fornecem uma interface de baixo código para ingerir dados de centenas de fontes de dados, transformar seus dados usando mais de 300 transformações de dados e carregar os dados resultantes em vários destinos. Pense neles como seu assistente de dados pessoal que pode se conectar a centenas de fontes de dados diferentes, limpar dados confusos e entregá-los exatamente onde você precisa. Seja você um desenvolvedor cidadão ou profissional, os fluxos de dados capacitam você com uma experiência moderna de integração de dados para ingerir, preparar e transformar dados de um conjunto avançado de fontes de dados, incluindo bancos de dados, data warehouse, Lakehouse, dados em tempo real e muito mais.

O Dataflow Gen2 é a versão mais recente e mais poderosa que funciona junto com o fluxo de dados de Power BI original (agora chamado gen1). Criada usando a experiência familiar Power Query que está disponível em vários produtos e serviços Microsoft, como Excel, Power BI, Power Platform e Dynamics 365, o Dataflow Gen2 fornece recursos aprimorados, melhor desempenho e recursos de cópia rápida para ingerir e copiar rapidamente transformar dados. Se você estiver começando de novo, recomendamos o Dataflow Gen2 para seus recursos aprimorados e melhor desempenho.

O que você pode fazer com fluxos de dados?

Com fluxos de dados, você pode:

• Conecte-se aos seus dados: extraia informações de bancos de dados, arquivos, serviços Web e muito mais. Você também pode se reconectar a fontes usadas recentemente.
• Transforme seus dados: limpe, filtre, combine e remodele seus dados usando uma interface visual.
• Carrege dados em qualquer lugar: envie seus dados transformados para bancos de dados, data warehouses ou storage de nuvem.
• Automatizar o processo: configure agendas para que seus dados permaneçam atualizados e up-to-date.

Recursos de fluxo de dados

Aqui estão os recursos disponíveis entre o Dataflow Gen2 e o Gen1:

Atualizações para o Fluxo de Dados Gen2

Nas próximas seções estão algumas das principais melhorias no Dataflow Gen2 em comparação com o Gen1 para tornar suas tarefas de preparação de dados mais fáceis e eficientes.

Gen2 é mais fácil de criar e usar

O Dataflow Gen2 se sentirá familiar se você já usou Power Query antes. Simplificamos o processo para colocar você em funcionamento mais rapidamente. Você será guiado passo a passo ao obter dados em seu fluxo de dados e reduzimos o número de etapas necessárias para criar seus fluxos de dados.

O salvamento automático mantém seu trabalho seguro

O Dataflow Gen2 salva automaticamente suas alterações enquanto trabalha. Você pode se afastar do computador, fechar o navegador ou perder a conexão com a Internet sem se preocupar em perder seu progresso. Quando você volta, tudo está exatamente onde você deixou.

Quando terminar de criar seu fluxo de dados, você poderá publicar suas alterações. A publicação salva seu trabalho e executa processos de validação em segundo plano, portanto, você não precisa esperar que tudo seja verificado antes de passar para a próxima tarefa.

Para saber mais sobre como funciona o salvamento, consulte Salvar um rascunho de seu fluxo de dados.

Enviar dados onde você precisar

Embora o Dataflow Gen1 armazene dados transformados em seu próprio armazenamento interno (que você pode acessar por meio do conector Dataflow), o Dataflow Gen2 oferece a flexibilidade de usar esse armazenamento ou enviar seus dados para destinos diferentes.

Essa flexibilidade abre novas possibilidades. Por exemplo, você pode:

• Utilize um fluxo de dados para carregar dados em um lakehouse e depois analisá-los com um notebook.
• Carregar dados em um banco de dados SQL do Azure e, em seguida, usar um pipeline para movê-los para um data warehouse

Atualmente, o Dataflow Gen2 dá suporte a estes destinos:

• bancos de dados SQL do Azure
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2
• Tabelas Fabric Lakehouse
• Arquivos Fabric Lakehouse
• Fabric Warehouse
• banco de dados Fabric KQL
• banco de dados SQL Fabric
• Arquivos SharePoint
• Banco de dados Snowflake

Para obter mais informações sobre os destinos de dados disponíveis, consulte os destinos de dados do Dataflow Gen2 e as configurações gerenciadas.

Melhor monitoramento e rastreamento de atualizações

O Dataflow Gen2 fornece uma visão mais clara do que está acontecendo com suas atualizações de dados. Nos integramos ao Hub de Monitoramento e aprimoramos a experiência de Histórico de Atualizações , para que você possa acompanhar o status e o desempenho de seus fluxos de dados.

Funciona perfeitamente com pipelines

Pipelines permite agrupar atividades para concluir tarefas maiores. Pense neles como fluxos de trabalho que podem copiar dados, executar consultas SQL, executar procedimentos armazenados ou executar Python notebooks.

Você pode conectar várias atividades em um pipeline e defini-las para serem executadas em um agendamento. Por exemplo, toda segunda-feira, você pode usar um pipeline para extrair dados de um blob do Azure e limpá-los, em seguida, disparar um Dataflow Gen2 para analisar os dados de log. Ou no final do mês, você pode copiar dados de um blob Azure para um banco de dados SQL do Azure e, em seguida, executar um procedimento armazenado nesse banco de dados.

Para saber mais sobre como conectar fluxos de dados com pipelines, consulte dataflow activities.

Computação de alto desempenho

O Dataflow Gen2 utiliza motores avançados de computação SQL do Fabric para lidar de forma eficiente com grandes quantidades de dados. Para funcionar corretamente, o Dataflow Gen2 cria itens tanto do Lakehouse quanto do Warehouse em seu espaço de trabalho e os utiliza para armazenar e acessar dados, melhorando o desempenho de todos os seus fluxos de dados.

Localizar e reutilizar fontes de dados recentes

O Dataflow Gen2 inclui um módulo de dados recente que registra os itens usados anteriormente, como tabelas, arquivos, pastas, bancos de dados e planilhas, e permite carregá-los diretamente na tela de edição do Dataflow Gen2. Você pode acessar dados recentes do Power Query ribbon ou da experiência moderna de Obter Dados, para que possa voltar rapidamente aos dados necessários sem reconfigurar suas conexões.

Em qualquer entrada de dados recente, você também pode selecionar Procurar local para explorar e selecionar itens relacionados adicionais na mesma pasta ou banco de dados, facilitando o trabalho com vários recursos no mesmo local.

Copilot para o Dataflow Gen2

O Dataflow Gen2 integra-se ao Microsoft Copilot em Fabric para fornecer assistência orientada à IA para criar soluções de integração de dados usando prompts de linguagem natural. Copilot ajuda você a simplificar o processo de desenvolvimento de fluxo de dados, permitindo que você use a linguagem de conversação para executar transformações e operações de dados.

• Obter dados de fontes: use o prompt inicial "Obter dados de" para se conectar a várias fontes de dados, como OData, bancos de dados e arquivos
• Transformar dados com linguagem natural: aplicar transformações usando prompts de conversa, como:
  • "Manter apenas clientes europeus"
  • "Contar o número total de funcionários por Cidade"
  • "Mantenha apenas os pedidos cujas quantidades estão acima do valor mediano"
• Criar dados de exemplo: use Azure OpenAI para gerar dados de exemplo para teste e desenvolvimento
• Desfazer operações: digite ou selecione "Desfazer" para remover a última etapa aplicada
• Validação e revisão: cada ação do Copilot aparece como um cartão de resposta com as etapas correspondentes na lista de etapas aplicadas

Para obter mais informações, consulte Copilot for Dataflow Gen2.

O que você precisa para usar fluxos de dados?

O Dataflow Gen2 requer uma capacidade de Fabric, uma capacidade de teste do Fabric ou uma capacidade do Power BI Premium. Para entender como o licenciamento funciona para fluxos de dados, confira Microsoft Fabric conceitos e licenças.

Migrando do Dataflow Gen1 para o Gen2

Se você já tiver fluxos de dados criados com o Gen1, não se preocupe. Você pode migrá-los facilmente para o Gen2. Temos várias opções para ajudá-lo a fazer a troca:

• Exportar e importar suas consultas
• Copy e cole em Power Query
• Usar o recurso Salvar como

Exportar e importar suas consultas

Você pode exportar suas consultas do Dataflow Gen1 e salvá-las em um arquivo PQT e importá-las para o Dataflow Gen2. Para obter instruções passo a passo, consulte Usar o recurso de modelo de exportação.

Copiar e colar em Power Query

Se você tiver um fluxo de dados em Power BI ou Power Apps, poderá copiar suas consultas e colá-las no editor do Dataflow Gen2. Essa abordagem permite que você migre sem precisar recompilar suas consultas do zero. Saiba mais: copie e cole as consultas existentes do Dataflow Gen1.

Usar o recurso Salvar como

Se você já tiver qualquer tipo de fluxo de dados (Gen1 ou Gen2), o Data Factory incluirá um recurso Salvar como. Isso permite que você salve qualquer fluxo de dados existente como um novo item do Dataflow Gen2 com suporte de integração de CI/CD e Git em apenas uma ação. Mais detalhes: migrar para o Dataflow Gen2 usando Salvar como.

Itens em preparação no seu espaço de trabalho

Em algumas experiências, você pode ver itens gerados pelo sistema, como DataflowsStagingLakehouse ou DataflowsStagingWarehouse em seu workspace. Esses são itens de preparo internos usados pelo Dataflow Gen2 e não se destinam à interação direta. Você pode desconsiderá-los com segurança.

Conteúdo relacionado

Está pronto(a) para saber mais? Confira estes recursos úteis:

• Monitorar seus fluxos de dados – acompanhar o histórico e o desempenho da atualização
• Salvar rascunhos enquanto trabalha – Saiba mais sobre o recurso de salvamento automático
• Migrar do Gen1 para o Gen2 – guia de migração passo a passo