Usa Azure Data Factory para migrar datos desde su lago de datos o su almacén de datos a Azure

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.

Si desea migrar el lago de datos o el almacenamiento de datos empresarial (EDW) a Microsoft Azure, considere la posibilidad de usar Azure Data Factory. Azure Data Factory es adecuado para los siguientes escenarios:

  • Migración de cargas de trabajo de macrodatos desde Amazon Simple Storage Service (Amazon S3) o un sistema de archivos distribuido de Hadoop (HDFS) local a Azure
  • Migración de EDW desde Oracle Exadata, Netezza, Teradata o Amazon Redshift a Azure

Azure Data Factory puede mover petabytes (PB) de datos para la migración del lago de datos y decenas de terabytes (TB) de datos para la migración del almacén de datos.

¿Por qué se pueden usar Azure Data Factory para la migración de datos?

  • Azure Data Factory puede escalar verticalmente fácilmente la cantidad de potencia de procesamiento para mover datos de forma sin servidor con alto rendimiento, resistencia y escalabilidad. Y pagas solo por lo que usas. También tenga en cuenta lo siguiente:
    • Azure Data Factory no tiene limitaciones en el volumen de datos ni en el número de archivos.
    • Azure Data Factory puede usar completamente el ancho de banda de red y almacenamiento para lograr el mayor volumen de rendimiento del movimiento de datos en su entorno.
    • Azure Data Factory usa un método de pago por uso, por lo que solo paga por el tiempo que realmente usa para ejecutar la migración de datos a Azure.
  • Azure Data Factory puede realizar una carga histórica única y cargas incrementales programadas.
  • Azure Data Factory usa Azure Integration Runtime (IR) para mover datos entre endpoints de data lake y almacén accesibles públicamente. También puede usar IR autohospedado para mover datos entre los puntos de conexión del lago de datos y el almacenamiento situados dentro de una red virtual de Azure o detrás de un firewall.
  • Azure Data Factory tiene seguridad de nivel empresarial: puede usar Windows Instalador (MSI) o Service Identity para la integración segura de servicio a servicio o usar Azure Key Vault para la administración de credenciales.
  • Azure Data Factory proporciona una experiencia de creación sin código y un panel de supervisión integrado completo. 

Migración de datos en línea frente a sin conexión

Azure Data Factory es una herramienta estándar de migración de datos en línea para transferir datos a través de una red (Internet, ER o VPN). Mientras que con la migración de datos sin conexión, los usuarios envían físicamente dispositivos de transferencia de datos de su organización a un centro de datos de Azure.

Hay tres consideraciones importantes a la hora de elegir entre un método de migración en línea frente al método sin conexión:

  • El tamaño de los datos que se van a migrar
  • Ancho de banda de red
  • La ventana de migración

Por ejemplo, supongamos que tiene previsto usar Azure Data Factory para completar la migración de datos en dos semanas (la ventana migración). Observe la línea de corte rosa/azul en la tabla siguiente. La celda rosa más baja de cualquier columna dada muestra el emparejamiento de tamaño de datos y ancho de banda de red cuyo plazo de migración es más cercano a, pero menor de dos semanas. (Cualquier emparejamiento de tamaño/ancho de banda en una celda azul tiene un plazo de migración en línea de más de dos semanas).

online frente a offline Esta tabla le ayuda a determinar si puede cumplir la ventana de migración prevista a través de la migración en línea (Azure Data Factory) en función del tamaño de los datos y el ancho de banda de red disponible. Si el plazo de migración en línea es superior a dos semanas, querrá usar la migración sin conexión.

Nota

Con la migración en línea, puede lograr la carga de datos históricos y las alimentaciones incrementales de extremo a extremo con una herramienta única. Con este enfoque, los datos se pueden mantener sincronizados entre el almacén existente y el nuevo almacén durante todo el plazo de migración. Esto significa que puede volver a generar la lógica de ETL en el nuevo almacén con los datos actualizados.

Contenido relacionado

  • Last updated on