Práticas recomendadas de migração para Azure Data Factory para Fabric Data Factory

Microsoft Fabric unifica as ferramentas de análise da Microsoft em uma única plataforma SaaS, oferecendo recursos robustos para orquestração de fluxo de trabalho, movimentação de dados, replicação e transformação em escala. Fabric Data Factory se baseia em Azure Data Factory (ADF), tornando-o uma opção ideal para modernizar soluções de integração de dados.

Este guia explora estratégias de migração, considerações e abordagens para ajudá-lo a atualizar de Azure Data Factory para Fabric Data Factory.

Considerações antes de migrar

Antes de migrar, avalie o que reutilizar, traduzir ou reprojetar. Siga estas etapas para garantir uma transição suave:

  1. Identifique padrões de autenticação, como identidade gerenciada ou autenticação baseada em chave.
  2. Examine os requisitos de rede, incluindo pontos de extremidade privados e gateways.
  3. Mapeie a semântica de agendamento e gatilho e alinhe as configurações de monitoramento e alertas.
  4. Compare os recursos do ADF com seus equivalentes Fabric, observando quaisquer lacunas, como SSIS ou fluxos de dados.
  5. Defina objetivos não funcionais, como SLAs, taxa de transferência, limites de custo e observabilidade.
  6. Crie um cenário de teste com conjuntos de dados de exemplo e resultados esperados para comparar objetivamente as execuções do ADF e do Fabric.
  7. Planeje a rotação de segredos, convenções de nomenclatura e taxonomia do espaço de trabalho para que sua migração não apenas reproduza, mas melhore sua estratégia atual de integração de dados.

Uma abordagem em fases com planos de validação e reversão lado a lado minimiza o risco, permitindo uma execução mais rápida, monitoramento centralizado e integração mais profunda com Microsoft Fabric.

Para migrações grandes, considere trabalhar com parceiros Microsoft certificados ou sua equipe de Microsoft account para obter diretrizes.

Conexões, serviços vinculados e conjuntos de dados

No Azure Data Factory (ADF), serviços vinculados e conjuntos de dados definem conexões e estruturas de dados. Em Fabric, eles mapeiam para conexões e configurações de atividade, com um foco mais forte na reutilização no nível do espaço de trabalho e na identidade gerenciada. Veja como adaptar seus ativos do ADF:

  1. Revise a continuidade do conector entre Azure Data Factory e Fabric para confirmar o suporte para suas fontes de dados e destinos.
  2. Consolide conexões redundantes para simplificar o gerenciamento.
  3. Adote a identidade gerenciada para autenticação segura e consistente.
  4. Padronizar a parametrização de pasta e tabela usando convenções de nomenclatura claras, por exemplo: conn-sql-warehouse-sales ou ds-lh-raw-orders.

Para garantir a consistência e a escalabilidade, documente totalmente cada origem e destino com:

  • Proprietários
  • Níveis de sensibilidade
  • Configurações de tentativa

Esta documentação ajuda a padronizar operações em pipelines e aprimora a governança.

Runtimes de integração e OPDG, gateway de rede virtual

Azure Data Factory (ADF) usa Integration Runtimes (IRs) para definir recursos de computação para processamento de dados. Elas incluem:

  • IRs de Nuvem para computação hospedada no Azure.
  • IRs auto-hospedadas (SHIRs) para fontes locais ou em rede privada.
  • SSIS IRs para SQL Server Integration Services.
  • IRs compatíveis com VNet para conectividade de rede segura.

Em Fabric, eles são mapeados para cloud execution, On-premises Data Gateway (OPDG) e Virtual Network Data Gateway. Veja como planejar sua migração:

  1. Identifique pipelines que dependem de SHIRs e planeje seu mapeamento de gateway e o dimensionamento de taxa de transferência.
  2. Valide o DNS, a saída, as regras de firewall e a autenticação para cada conector.
  3. Ensaiar cenários de failover para garantir a confiabilidade.
  4. Quando possível, migre para pontos de extremidade privados ou gateways de dados de rede virtual para simplificar as revisões de segurança e reduzir a sobrecarga operacional.

Fabric simplifica o gerenciamento de computação usando recursos baseados em nuvem em suas capacidades de Fabric. As IRs do SSIS não estão disponíveis no Fabric. Para conectividade local, use o Gateway de Dados Local (OPDG). Para conectividade de rede segura, use o Virtual Network Data Gateway.

Ao migrar:

  • As IRs de Azure de rede pública não precisam ser movidas.
  • Recrie os SHIRs como OPDGs.
  • Substitua as IRs de Azure habilitadas para VNet por Gateways de Dados de Rede Virtual.

Diferenças de atividade de pipeline

Todas as atividades principais no ADF (Azure Data Factory), como Cópia, Pesquisa, Procedimento Armazenado/Script SQL, Web e Fluxo de Controle, têm equivalentes diretos em Fabric. No entanto, há algumas diferenças nas propriedades, na sintaxe da expressão e nos limites. Ao migrar, examine o seguinte:

  • Políticas de retentativa e limites de tempo.
  • Configurações de paginação para fontes REST.
  • Configurações de cópia binária versus tabular.
  • Padrões foreach e filter.
  • Variáveis do sistema usadas em conteúdo dinâmico.

Fabric geralmente fornece mais opções nativas para determinadas tarefas. Por exemplo, use o Script SQL em um Armazém de Dados em vez de uma chamada de procedimento armazenado genérico para melhor rastreabilidade e monitoramento. Para simplificar a migração, centralize expressões comuns como caminhos, datas e URIs específicas do locatário em parâmetros de pipeline. Isso reduz a descompasso e acelera o teste.

Para obter mais informações, consulte A continuidade de atividades entre o Azure Data Factory e o Fabric.

Diferenças de fluxo de dados

Azure Data Factory (ADF) Mapping Data Flows não são mapeados diretamente para Fabric. Em vez disso, você geralmente os retrabalhará usando uma das seguintes opções:

  • Fluxo de dados Gen2 para transformações de conjunto de linhas e transformações governadas de baixo código.
  • Fabric Warehouse SQL para tarefas ELT baseadas em conjunto, como operações MERGE ou ELT próximas aos dados.
  • Notebooks Spark para transformações avançadas, lógica complexa ou processamento em grande escala.

Ao migrar, valide o seguinte:

  • Tipos de dados e tratamento nulo.
  • Chaves substitutas e dimensões de alteração lenta.
  • Padrões ELT idempotentes, como armazenamento intermediário e MERGE, para garantir repetições previsíveis.

Para cenários de migração, consulte Migrar do Dataflow Gen1 para o Dataflow Gen2.

Parâmetros globais no Azure Data Factory

Fabric usa Bibliotecas de Variáveis no nível do workspace para definir constantes entre itens do Fabric. Ao migrar para Microsoft Fabric Data Factory, você precisará converter seus parâmetros globais Azure Data Factory em bibliotecas variáveis.

Para obter diretrizes de conversão completa, consulte Converter Parâmetros Globais do ADF em Bibliotecas de Variáveis Fabric.

Azure Marketplace ofertas de parceiros

Parceiros de migração confiáveis, como o Bitwise Global, fornecem ferramentas para ajudar na migração. Essas ferramentas podem:

  • Examine seu ambiente de Azure Data Factory (ADF).
  • Gerar artefatos de Fabric de destino.
  • Execute a análise de impacto e o acompanhamento de linhagem.
  • Crie planos de teste automatizados.

Essas soluções são especialmente úteis se você tiver:

  • Centenas de pipelines.
  • Conectores diversos.
  • Requisitos estritos de tempo de inatividade.

As ferramentas de parceiro padronizam regras de mapeamento, geram relatórios de conversão e executam testes de validação paralela. Isso permite que você compare o número de linhas, somas de verificação e desempenho entre seus ambientes antigos e novos. Mesmo que você não use um parceiro para toda a migração, os módulos de descoberta e avaliação podem ajudá-lo a iniciar seu planejamento interno e reduzir as incertezas.

Usar ferramentas de IA

LlMs (modelos de linguagem grandes) como Microsoft Copilot, ChatGPT e Claude podem acelerar as tarefas de migração. Essas ferramentas são úteis para:

  • Refatoração de expressões.
  • Convertendo o JSON do Azure Data Factory (ADF) para a sintaxe do Fabric.
  • Escrevendo instruções MERGE.
  • Gerando modelos de conexão.
  • Criação de scripts de validação.

Você também pode usá-los para criar documentação, como runbooks, dicionários de dados e listas de verificação de migração, garantindo que engenheiros e operadores permaneçam alinhados. No entanto, mantenha essas ferramentas no loop, não no comando:

  • Evite colar informações confidenciais em ferramentas de IA.
  • Valide todos os itens em um ambiente de desenvolvimento.
  • Use testes automatizados como contagens de linhas, comparações de esquema e verificações de regra de negócios para detectar problemas sutis, como incompatibilidades de tipo ou análise de data específica da localidade.

Para obter mais informações, consulte Use Copilot no Data Factory e AI no Microsoft Fabric.

Caminhos de migração

Os caminhos de migração dependem dos ativos do ADF e da equivalência de funcionalidades. As opções incluem:

Conteúdo relacionado

Compare Azure Data Factory com o Data Factory no Fabric

  • Last updated on