Boas práticas de migração para Azure Data Factory para Fabric Data Factory

O Microsoft Fabric unifica as ferramentas de análise da Microsoft numa única plataforma SaaS, oferecendo capacidades robustas para orquestração de fluxos de trabalho, movimentação de dados, replicação e transformação em grande escala. O Fabric Data Factory baseia-se no Azure Data Factory (ADF), tornando-se uma escolha ideal para modernizar soluções de integração de dados.

Este guia explora estratégias de migração, considerações e abordagens para o ajudar a fazer a atualização do Azure Data Factory para o Fabric Data Factory.

Considerações antes da migração

Antes de migrar, avalie o que reutilizar, traduzir ou redesenhar. Siga estas etapas para garantir uma transição suave:

  1. Identifique padrões de autenticação, como identidade gerenciada ou autenticação baseada em chave.
  2. Analise os requisitos da rede, incluindo pontos finais privados e gateways.
  3. Mapeie o agendamento e acione a semântica e alinhe as configurações de monitoramento e alerta.
  4. Compare as funcionalidades do ADF com as suas contrapartes Fabric, notando quaisquer lacunas como SSIS ou fluxos de dados.
  5. Defina metas não funcionais, como SLAs, taxa de transferência, limites de custo e observabilidade.
  6. Desenvolve um cenário de teste com conjuntos de dados de amostra e resultados esperados para comparar objetivamente as execuções do ADF e do Fabric.
  7. Planeje a rotação de segredos, convenções de nomenclatura e taxonomia de espaço de trabalho para que sua migração melhore — e não apenas reproduza — sua estratégia atual de integração de dados.

Uma abordagem faseada, com validação lado a lado e planos de reversão, minimiza o risco, permitindo uma execução mais rápida, monitorização centralizada e uma integração mais profunda com o Microsoft Fabric.

Para migrações grandes, considere trabalhar com parceiros certificados da Microsoft ou com a sua equipa de Microsoft account para orientação.

Conexões, serviços vinculados e conjuntos de dados

No Azure Data Factory (ADF), serviços ligados e conjuntos de dados definem ligações e estruturas de dados. Em Fabric, estes estão associados a connections e activity settings, com um foco mais forte na reutilização ao nível do espaço de trabalho e na identidade gerida. Veja como adaptar seus ativos do ADF:

  1. Revise a continuidade do Connector entre Azure Data Factory e Fabric para confirmar o suporte para as suas fontes e sinks de dados.
  2. Consolide conexões redundantes para simplificar o gerenciamento.
  3. Adote a identidade gerenciada para autenticação segura e consistente.
  4. Padronize a parametrização de pastas e tabelas usando convenções de nomenclatura claras, por exemplo: conn-sql-warehouse-sales ou ds-lh-raw-orders.

Para garantir consistência e escalabilidade, documente completamente cada origem e destino com:

  • Proprietários
  • Níveis de sensibilidade
  • Configurações de nova tentativa

Esta documentação ajuda a padronizar operações através de pipelines e melhora a governação.

Tempos de execução de integração e OPDG, gateway de rede virtual

Azure Data Factory (ADF) utiliza Tempos de Execução de Integração (IR) para definir recursos de cálculo para o processamento de dados. Estes são, entre outros:

  • Cloud IRs para computação Azure-hospedada.
  • IRs auto-hospedados (SHIRs) para fontes locais ou em rede privada.
  • SSIS IRs para SQL Server Integration Services.
  • IRs habilitados para VNet para conectividade de rede segura.

Em Fabric, estes correspondem às opções cloud execution, On-premises Data Gateway (OPDG) e Virtual Network Data Gateway. Veja como planejar sua migração:

  1. Identifique pipelines que dependem de SHIRs e planeje seu mapeamento de gateway e dimensionamento de taxa de transferência.
  2. Valide DNS, saída, regras de firewall e autenticação para cada conector.
  3. Ensaie cenários de failover para garantir a confiabilidade.
  4. Quando possível, migre para pontos de extremidade privados ou gateways de dados de rede virtual para simplificar as revisões de segurança e reduzir a sobrecarga operacional.

O Fabric simplifica a gestão de computação ao utilizar recursos baseados na cloud dentro das suas capacidades Fabric. Os SSIS IR não estão disponíveis na Fabric. Para conectividade local, use o Gateway de Dados Local (OPDG). Para conectividade de rede segura, utilize o Virtual Network Data Gateway.

Ao migrar:

  • Os IRs Azure de rede pública não precisam de ser movidos.
  • Reconstrua SHIRs como OPDGs.
  • Substitua IRs do Azure habilitados para VNet por Virtual Network Data Gateways.

Diferenças na atividade do pipeline

Todas as atividades principais no Azure Data Factory (ADF), como Copy, Lookup, Stored Procedure/SQL Script, Web e Control Flow, têm equivalentes diretos no Fabric. No entanto, existem algumas diferenças nas propriedades, sintaxe da expressão e limites. Ao migrar, analise o seguinte:

  • Políticas de reintento e tempos limite.
  • Configurações de paginação para fontes REST.
  • Configurações de cópia binária versus tabular.
  • Foreach e padrões de filtros.
  • Variáveis de sistema utilizadas em conteúdo dinâmico.

O Fabric frequentemente oferece opções mais nativas para certas tarefas. Por exemplo, use o Script SQL num armazém em vez de uma chamada genérica de procedimento armazenado para melhor rastreabilidade e monitorização. Para simplificar a migração, centralize expressões comuns como caminhos, datas e URIs específicos do inquilino em parâmetros de pipeline. Isso reduz o desvio e acelera os testes.

Para mais informações, consulte Continuidade da atividade entre Azure Data Factory e Fabric.

Diferenças de fluxo de dados

Azure Data Factory (ADF) Mapping Data Flows não se relacionam diretamente com Fabric. Em vez disso, normalmente será necessário reelaborá-los usando uma das seguintes opções:

  • Dataflow Gen2 para transformações de conjunto de linhas e transformações de baixo código controladas.
  • Fabric Warehouse SQL para tarefas ELT baseadas em conjuntos, como MERGE ou operações ELT próximas dos dados.
  • Notebooks Spark para transformações avançadas, lógica complexa ou processamento em larga escala.

Ao migrar, valide o seguinte:

  • Tipos de dados e manipulação nula.
  • Chaves substitutas e dimensões que mudam lentamente.
  • Padrões de ELT idempotentes, como staging e MERGE, para garantir execuções repetidas previsíveis.

Para cenários de migração, consulte Migrar do Dataflow Gen1 para o Dataflow Gen2.

Parâmetros globais no Azure Data Factory

Fabric utiliza Bibliotecas de Variáveis ao nível do espaço de trabalho para definir constantes entre itens do Fabric. Ao migrar para o Microsoft Fabric Data Factory, terá de converter os parâmetros globais do Azure Data Factory em bibliotecas variáveis.

Para orientações completas de conversão, veja Conversão de Parâmetros Globais ADF para Bibliotecas de Variáveis do Fabric.

Ofertas de parceiros do Azure Marketplace

Parceiros de migração confiáveis, como a Bitwise Global, fornecem ferramentas para ajudar na sua migração. Estas ferramentas podem:

  • Analise o seu ambiente Azure Data Factory (ADF).
  • Gerar artefactos alvo do Fabric.
  • Execute análise de impacto e rastreamento de linhagem.
  • Crie planos de teste automatizados.

Estas soluções são especialmente úteis se tiver:

  • Centenas de gasodutos.
  • Conectores diversos.
  • Requisitos rigorosos de tempo de inatividade.

As ferramentas de parceiros padronizam regras de mapeamento, geram relatórios de conversão e executam testes de validação paralelos. Isso permite que você compare contagens de linhas, somas de verificação e desempenho entre seus ambientes antigos e novos. Mesmo que você não use um parceiro para toda a migração, seus módulos de descoberta e avaliação podem ajudá-lo a iniciar seu planejamento interno e reduzir incertezas.

Use ferramentas de IA

Grandes modelos de linguagem (LLMs) como Microsoft Copilot, ChatGPT e Claude podem acelerar tarefas de migração. Estas ferramentas são úteis para:

  • Refatoração de expressões.
  • Converter a JSON do Azure Data Factory (ADF) para a sintaxe Fabric.
  • Escrever instruções MERGE.
  • Geração de modelos de conexão.
  • Elaboração de roteiros de validação.

Você também pode usá-los para criar documentação, como runbooks, dicionários de dados e listas de verificação de migração, garantindo que engenheiros e operadores permaneçam alinhados. No entanto, mantenha essas ferramentas envolvidas, não no comando:

  • Evite colar informações confidenciais em ferramentas de IA.
  • Valide todos os itens em um ambiente de desenvolvimento.
  • Use testes automatizados, como contagens de linhas, comparações de esquema e verificações de regras de negócios, para detetar problemas sutis, como incompatibilidades de tipo ou análise de data específica da localidade.

Para mais informações, veja Use Copilot no Data Factory e AI no Microsoft Fabric.

Caminhos de migração

Os caminhos de migração dependem dos seus ativos ADF e da sua equivalência de funcionalidades. As opções incluem:

Conteúdo relacionado

Compare Azure Data Factory com o Data Factory em Fabric

  • Last updated on