O que é Dataflow Gen2?

Os fluxos de dados são uma ferramenta baseada na cloud que o ajuda a preparar e transformar dados sem precisar de escrever código. Eles fornecem uma interface low-code para ingerir dados de centenas de fontes de dados, transformando os seus dados usando mais de 300 transformações de dados e carregando os dados resultantes em vários destinos. Pense neles como seu assistente de dados pessoais que pode se conectar a centenas de fontes de dados diferentes, limpar dados confusos e entregá-los exatamente onde você precisa. Quer seja cidadão ou programador profissional, os dataflows capacitam-no com uma experiência moderna de integração de dados para ingerir, preparar e transformar dados a partir de um conjunto rico de fontes de dados, incluindo bases de dados, data warehouse, Lakehouse, dados em tempo real e muito mais.

O Dataflow Gen2 é a versão mais recente e poderosa que funciona em conjunto com o Power BI Dataflow original (agora chamado Gen1). Construído com a experiência familiar Power Query disponível em vários produtos e serviços da Microsoft, como Excel, Power BI, Power Platform e Dynamics 365, o Dataflow Gen2 oferece funcionalidades aprimoradas, melhor desempenho e capacidade de cópia rápida para ingerir e transformar rapidamente dados. Se você está começando de novo, recomendamos o Dataflow Gen2 por seus recursos aprimorados e melhor desempenho.

O que você pode fazer com fluxos de dados?

Com fluxos de dados, você pode:

• Conecte-se aos seus dados: extraia informações de bancos de dados, arquivos, serviços da Web e muito mais. Também podes voltar a ligar-te a fontes recentemente usadas.
• Transforme seus dados: limpe, filtre, combine e reformule seus dados usando uma interface visual.
• Carregar dados em qualquer lugar: Envie os seus dados transformados para bases de dados, armazéns de dados ou storage cloud.
• Automatize o processo: Defina horários para que os seus dados permaneçam atualizados.

Recursos de fluxo de dados

Aqui estão os recursos disponíveis entre Dataflow Gen2 e Gen1:

Atualizações para Dataflow Gen2

Nas próximas seções estão algumas das principais melhorias no Dataflow Gen2 em comparação com o Gen1 para tornar suas tarefas de preparação de dados mais fáceis e eficientes.

Gen2 é mais fácil de criar e usar

Dataflow Gen2 parece familiar se já utilizaste o Power Query antes. Simplificamos o processo para que você comece a trabalhar mais rapidamente. Você será guiado passo a passo ao inserir dados em seu fluxo de dados, e reduzimos o número de etapas necessárias para criar seus fluxos de dados.

A Gravação Automática guarda o seu trabalho em segurança

O Dataflow Gen2 salva automaticamente suas alterações enquanto você trabalha. Pode afastar-se do computador, fechar o navegador ou perder a ligação à Internet sem se preocupar em perder o seu progresso. Quando você volta, está tudo exatamente onde você deixou.

Quando terminar de criar seu fluxo de dados, você poderá publicar suas alterações. A publicação salva seu trabalho e executa validações em segundo plano, para que você não precise esperar que tudo seja verificado antes de passar para sua próxima tarefa.

Para saber mais sobre como funciona a poupança, consulte Guardar um rascunho do seu fluxo de dados.

Envie dados para qualquer lugar onde sejam necessários

Enquanto o Dataflow Gen1 armazena dados transformados no seu próprio storage interno (ao qual pode acess através do conector Dataflow), o Dataflow Gen2 dá-lhe flexibilidade para usar esse storage ou enviar os seus dados para diferentes destinos.

Esta flexibilidade abre novas possibilidades. Por exemplo, você pode:

• Use um fluxo de dados para carregar dados em uma casa de lago e, em seguida, analise-os com um bloco de anotações
• Carregar dados numa base de dados SQL do Azure e depois usar um pipeline para os mover para um data warehouse

Atualmente, o Dataflow Gen2 suporta estes destinos:

• Bases de dados do SQL do Azure
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2
• Mesas Fabric Lakehouse
• Ficheiros Fabric Lakehouse
• Fabric Warehouse
• Base de dados Fabric KQL
• Base de dados SQL Fabric
• Ficheiros SharePoint
• Base de dados Snowflake

Para obter mais informações sobre os destinos de dados disponíveis, consulte Destinos de dados do Dataflow Gen2 e configurações gerenciadas.

Melhor monitoramento e rastreamento de atualizações

O Dataflow Gen2 oferece uma imagem mais clara do que está acontecendo com suas atualizações de dados. Integramos com o Monitoring Hub e melhoramos a experiência do Histórico de Atualização , para que você possa acompanhar o status e o desempenho de seus fluxos de dados.

Funciona perfeitamente com pipelines

Pipelines permitem-te agrupar atividades para completar tarefas maiores. Pense neles como fluxos de trabalho que podem copiar dados, executar consultas SQL, executar procedimentos armazenados ou executar cadernos Python.

Você pode conectar várias atividades num pipeline e configurá-lo para ser executado num cronograma. Por exemplo, todas as segundas-feiras, pode utilizar um pipeline para extrair dados de um blob do Azure e proceder à sua limpeza, ativando depois um Dataflow Gen2 para analisar os dados de log. Ou, no final do mês, podes copiar dados de um blob Azure para uma base de dados SQL do Azure e depois executar um procedimento armazenado nessa base de dados.

Para saber mais sobre a ligação de fluxos de dados a pipelines, consulte atividades de fluxo de dados.

Computação de alto desempenho

O Dataflow Gen2 utiliza motores avançados Fabric SQL Compute para lidar com grandes quantidades de dados de forma eficiente. Para que isto funcione, o Dataflow Gen2 cria itens Lakehouse e Warehouse no seu espaço de trabalho e usa-os para armazenar e acess dados, melhorando o desempenho de todos os seus fluxos de dados.

Encontrar e reutilizar fontes de dados recentes

O Dataflow Gen2 inclui um módulo de dados recentes que regista itens que já utilizaste anteriormente — como tabelas, ficheiros, pastas, bases de dados e folhas — e permite-te carregá-los diretamente na canvas de edição Dataflow Gen2. Pode aceder a dados recentes a partir da fita Power Query ou da experiência Modern Get Data, para poder regressar rapidamente aos dados de que precisa sem ter de reconfigurar as suas ligações.

A partir de qualquer entrada de dados recentes, pode também selecionar Explorar localização para explorar e selecionar itens relacionados adicionais dentro da mesma pasta ou base de dados, facilitando o trabalho com múltiplos recursos na mesma localização.

Copilot para Dataflow Gen2

O Dataflow Gen2 integra-se com o Microsoft Copilot em Fabric para fornecer assistência alimentada por IA na criação de soluções de integração de dados usando prompts em linguagem natural. O Copilot ajuda-o a simplificar o processo de desenvolvimento do fluxo de dados ao permitir o uso de linguagem conversacional para realizar transformações e operações de dados.

• Obter dados de fontes: use o prompt inicial "Obter dados de" para se conectar a várias fontes de dados, como OData, bancos de dados e arquivos
• Transforme dados com linguagem natural: aplique transformações usando prompts de conversação, como:
  • "Manter apenas clientes europeus"
  • "Contar o número total de funcionários por cidade"
  • "Guarde apenas as encomendas cujas quantidades sejam superiores ao valor mediano"
• Criar dados de amostra: Use Azure OpenAI para gerar dados de amostra para testes e desenvolvimento
• Desfazer operações: digite ou selecione "Desfazer" para remover a última etapa aplicada
• Validar e rever: Cada ação Copilot aparece como um cartão de resposta com passos correspondentes na lista de passos aplicados

Para mais informações, veja Copilot para Dataflow Gen2.

O que você precisa para usar fluxos de dados?

O Dataflow Gen2 exige uma capacidade Fabric, uma capacidade de teste Fabric ou uma capacidade Power BI Premium. Para perceberes como funciona o licenciamento para fluxos de dados, consulta Microsoft Fabric conceitos e licenças.

Mudando do Dataflow Gen1 para o Gen2

Se você já tem fluxos de dados criados com o Gen1, não se preocupe – você pode migrá-los facilmente para o Gen2. Temos várias opções para ajudá-lo a fazer a mudança:

• Exporte e importe suas consultas
• Copiar e colar em Power Query
• Usar o recurso Salvar como

Exporte e importe suas consultas

Você pode exportar suas consultas Dataflow Gen1 e salvá-las em um arquivo PQT e, em seguida, importá-las para o Dataflow Gen2. Para obter instruções passo a passo, consulte Usar o recurso de modelo de exportação.

Copiar e colar no Power Query

Se tiver um dataflow no Power BI ou Power Apps, pode copiar as suas consultas e colá-las no editor Dataflow Gen2. Essa abordagem permite que você migre sem ter que reconstruir suas consultas do zero. Saiba mais: Copie e cole consultas existentes do Dataflow Gen1.

Usar o recurso Salvar como

Se já tiver algum tipo de fluxo de dados (Gen1 ou Gen2), o Data Factory inclui uma funcionalidade de Guardar Como. Isto permite guardar qualquer fluxo de dados existente como um novo item Dataflow Gen2 com suporte de integração CI/CD e Git numa única ação. Mais detalhes: Migre para Dataflow Gen2 usando o Save As.

Organizar itens no espaço de trabalho

Em algumas experiências, pode ver itens gerados pelo sistema como DataflowsStagingLakehouse ou DataflowsStagingWarehouse no seu espaço de trabalho. Estes são itens de staging interno usados pela Dataflow Gen2 e não são destinados a interação direta. Podes ignorá-los em segurança.

Conteúdo relacionado

Está pronto para saber mais? Confira estes recursos úteis:

• Monitore seus fluxos de dados - Acompanhe o histórico de atualizações e o desempenho
• Guardar rascunhos enquanto trabalha - Saiba mais sobre a funcionalidade de gravação automática
• Migrar de Gen1 para Gen2 - Guia de migração passo a passo