Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Gorjeta
Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.
Preparação de dados envolve a transformação e reformatação de dados de sua fonte original para torná-los mais adequados e úteis para várias aplicações subsequentes.
As organizações precisam ter a capacidade de explorar seus dados de negócios críticos para preparação e disputa de dados, a fim de fornecer uma análise precisa de dados complexos que continuam a crescer a cada dia. A preparação de dados é necessária para que as organizações possam usá-los em vários processos de negócios e reduzir o tempo de valorização.
A Data Factory capacita-o com a preparação de dados sem código à escala da cloud de forma iterativa usando o Power Query. Data Factory integra-se com Power Query Online e disponibiliza as funções M do Power Query como uma atividade de pipeline.
O Data Factory traduz o M gerado pelo Power Query Online Mashup Editor em código Spark para execução em escala na cloud, traduzindo o M em Azure Data Factory Data Flows. Gerir dados com Power Query e fluxos de dados é especialmente útil para engenheiros de dados ou 'integradores de dados cidadãos'.
Casos de utilização
Rápida exploração e preparação interativa de dados
Vários engenheiros de dados e integradores de dados cidadãos podem explorar e preparar conjuntos de dados interativamente em escala de nuvem. Com o aumento do volume, variedade e velocidade dos dados em data lakes, os usuários precisam de uma maneira eficaz de explorar e preparar conjuntos de dados. Por exemplo, pode ser necessário criar um conjunto de dados que "tenha todas as informações demográficas do cliente para novos clientes desde 2017". Você não está mapeando para um destino conhecido. Você está explorando, disputando e preparando conjuntos de dados para atender a um requisito antes de publicá-lo no lago. A disputa é frequentemente usada para cenários de análise menos formais. Os conjuntos de dados preparados podem ser usados para fazer transformações e operações de aprendizado de máquina a jusante.
Preparação ágil de dados sem código
Os integradores de dados dos cidadãos passam mais de 60% do seu tempo a procurar e a preparar dados. Eles estão procurando fazer isso de uma maneira livre de código para melhorar a produtividade operacional. Permitir que os integradores de dados cidadãos enriquecam, moldem e publiquem dados usando ferramentas conhecidas como o Power Query Online de forma escalável melhora drasticamente a sua produtividade. O Wrangling no Azure Data Factory permite que o familiar editor de mashup Power Query Online permita aos integradores de dados cidadãos corrigir erros rapidamente, padronizar dados e produzir dados de alta qualidade para apoiar decisões empresariais.
Validação e exploração de dados
Analise visualmente seus dados de maneira livre de código para remover quaisquer discrepâncias, anomalias e adaptá-los a uma forma para análises rápidas.
Origens suportadas
| Conector | Formato dos dados | Tipo de autenticação |
|---|---|---|
| Armazenamento de Blobs do Azure | CSV, Parquet, Excel | Chave de Conta, Entidade de Serviço, MSI |
| Azure Data Lake Storage Gen1 | CSV, Parquet, Excel | Principal de Serviço, MSI |
| Azure Data Lake Storage Gen2 | CSV, Parquet, Excel | Chave de Conta, Entidade de Serviço, MSI |
| Base de Dados SQL do Azure | - | Autenticação SQL, MSI, Service Principal |
| Azure Synapse Analytics | - | Autenticação SQL, MSI, Service Principal |
O editor de mashup
Quando cria uma atividade Power Query, todos os conjuntos de dados de origem tornam-se consultas de conjunto de dados e são colocados na pasta ADFResource. Por padrão, o UserQuery apontará para a primeira consulta de conjunto de dados. Todas as transformações devem ser feitas no UserQuery, pois as alterações nas consultas do conjunto de dados não são suportadas nem serão persistentes. Atualmente, não há suporte para renomear, adicionar e excluir consultas.
Atualmente, nem todas as funções do Power Query M são suportadas para manipulação de dados, apesar de estarem disponíveis durante a autoria. Ao construir as suas atividades do Power Query, será notificado com a seguinte mensagem de erro caso uma função não seja suportada:
The Power Query Spark Runtime does not support the function
Para mais informações sobre transformações suportadas, consulte Power Query funções de preparação de dados.