Partilhar via

Use o Azure Data Factory para migrar dados do seu data lake ou data warehouse para o Azure

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.

Se quiser migrar o seu data lake ou data warehouse empresarial (EDW) para Microsoft Azure, considere usar o Azure Data Factory. O Azure Data Factory é adequado para os seguintes cenários:

  • Migração de grandes volumes de dados do Amazon Simple Storage Service (Amazon S3) ou de um sistema de ficheiros distribuídos Hadoop (HDFS) nas instalações (on-premises) para o Azure
  • Migração EDW de Oracle Exadata, Netezza, Teradata ou Amazon Redshift para Azure

O Azure Data Factory pode mover petabytes (PB) de dados para migração de lago de dados e dezenas de terabytes (TB) de dados para migração de armazém de dados.

Porque é que o Azure Data Factory pode ser usado para migração de dados

  • O Azure Data Factory pode facilmente aumentar o poder de processamento para mover dados de forma serverless, com alto desempenho, resiliência e escalabilidade. E você paga apenas pelo que usa. Observe também o seguinte:
    • O Azure Data Factory não tem limitações no volume de dados nem no número de ficheiros.
    • O Azure Data Factory pode utilizar totalmente a largura de banda da sua rede e armazenamento para alcançar o maior volume de transferência de dados no seu ambiente.
    • O Azure Data Factory utiliza um método pay-as-you-go, para que pagues apenas pelo tempo que realmente utilizas para executar a migração de dados para o Azure.
  • O Azure Data Factory pode realizar tanto uma carga histórica única como cargas incrementais programadas.
  • O Azure Data Factory utiliza o runtime de integração (IR) do Azure para mover dados entre terminais de data lake e armazém acessíveis publicamente. Também pode usar IR auto-hospedado para mover dados para terminais de data lake e warehouse dentro do Rede Virtual do Azure (VNet) ou atrás de um firewall.
  • O Azure Data Factory tem segurança de nível empresarial: pode usar o Windows Installer (MSI) ou o Service Identity para integração segura entre serviços, ou usar o Azure Key Vault para gestão de credenciais.
  • O Azure Data Factory oferece uma experiência de autoria sem código e um painel de monitorização integrado e rico. 

Migração de dados online vs. offline

Azure Data Factory é uma ferramenta padrão de migração de dados online para transferir dados através de uma rede (internet, ERs ou VPN). Enquanto que na migração de dados offline, os utilizadores enviam fisicamente dispositivos de transferência de dados da sua organização para um Centro de Dados Azure.

Há três considerações principais quando você escolhe entre uma abordagem de migração online e offline:

  • Tamanho dos dados a serem migrados
  • Largura de banda de rede
  • Janela de migração

Por exemplo, assuma que planeia usar Azure Data Factory para completar a migração de dados dentro de duas semanas (a sua janela migração). Observe a linha de corte rosa/azul na tabela a seguir. A célula rosa mais baixa de qualquer coluna mostra a combinação de tamanho de dados e largura de banda de rede cuja janela de migração está mais próxima, mas é inferior a duas semanas. (Qualquer emparelhamento tamanho/largura de banda numa célula azul tem uma janela de migração online de mais de duas semanas.)

online vs. offline Esta tabela ajuda-o a determinar se consegue cumprir a janela de migração pretendida através da migração online (Azure Data Factory), com base no tamanho dos seus dados e na largura de banda disponível da rede. Se a janela de migração online for superior a duas semanas, convém usar a migração offline.

Nota

Usando a migração on-line, você pode obter o carregamento de dados históricos e feeds incrementais de ponta a ponta por meio de uma única ferramenta. Por meio dessa abordagem, seus dados podem ser mantidos sincronizados entre o repositório existente e o novo armazenamento durante toda a janela de migração. Isso significa que você pode reconstruir sua lógica de ETL no novo repositório com dados atualizados.

Conteúdos relacionados

  • Last updated on