Procedimientos recomendados de migración para Azure Data Factory a Fabric Data Factory

Microsoft Fabric unifica las herramientas de análisis de Microsoft en una única plataforma SaaS, que ofrece funcionalidades sólidas para la orquestación de flujos de trabajo, el movimiento de datos, la replicación y la transformación a escala. Fabric Data Factory se basa en Azure Data Factory (ADF), por lo que es una opción ideal para modernizar las soluciones de integración de datos.

En esta guía se exploran las estrategias de migración, las consideraciones y los enfoques para ayudarle a actualizar de Azure Data Factory a Fabric Data Factory.

Consideraciones antes de migrar

Antes de migrar, evalúe qué reutilizar, traducir o rediseñar. Siga estos pasos para garantizar una transición fluida:

  1. Identifique los patrones de autenticación, como la identidad administrada o la autenticación basada en claves.
  2. Revise los requisitos de red, incluidos los puntos de conexión privados y las puertas de enlace.
  3. Asigne la programación y la semántica del desencadenador, y alinee las configuraciones de supervisión y alertas.
  4. Compare las características de ADF con sus homólogos de Fabric, teniendo en cuenta las lagunas como los flujos de datos o SSIS.
  5. Defina destinos no funcionales, como acuerdos de nivel de servicio, rendimiento, límites de costos y observabilidad.
  6. Cree un escenario de prueba con conjuntos de datos de ejemplo y salidas esperadas para comparar objetivamente ADF y Fabric ejecuciones.
  7. Planee la rotación de secretos, las convenciones de nomenclatura y la taxonomía del área de trabajo para que la migración mejore (no simplemente reproduce) su estrategia actual de integración de datos.

Un enfoque por fases con planes de validación y reversión en paralelo minimiza el riesgo al tiempo que permite una ejecución más rápida, supervisión centralizada e integración más profunda con Microsoft Fabric.

Para migraciones de gran tamaño, considere la posibilidad de trabajar con asociados de Microsoft certificados o con el equipo de Microsoft account para obtener instrucciones.

Conexiones, servicios vinculados y conjuntos de datos

En Azure Data Factory (ADF), los servicios vinculados y los conjuntos de datos definen conexiones y estructuras de datos. En Fabric, estos se asignan a connections y configuraciones de actividad, con un enfoque más sólido en la reutilización a nivel de espacio de trabajo y la identidad gestionada. Aquí te explicamos cómo adaptar tus recursos de ADF:

  1. Revise la continuidad del conector entre Azure Data Factory y Fabric para confirmar la compatibilidad con los orígenes de datos y los destinos.
  2. Consolide las conexiones redundantes para simplificar la administración.
  3. Adopte la identidad administrada para una autenticación segura y coherente.
  4. Normalice la parametrización de carpetas y tablas mediante convenciones de nomenclatura claras, por ejemplo: conn-sql-warehouse-sales o ds-lh-raw-orders.

Para garantizar la coherencia y la escalabilidad, documente completamente cada origen y destino con:

  • Propietarios
  • Niveles de sensibilidad
  • Configuraciones de reintento

Esta documentación ayuda a templatizar las operaciones entre canalizaciones y mejora la gobernanza.

Entornos de ejecución de integración y OPDG, puerta de enlace de red virtual

Azure Data Factory (ADF) usa Integration Runtimes (IRs) para definir recursos de proceso para el procesamiento de datos. Estos incluyen:

  • Cloud IRs para cómputo hospedado en Azure.
  • Runtimes de integración autohospedados (SHIR) para orígenes locales o de red privada.
  • SSIS IRs para SQL Server Integration Services.
  • IR habilitados para VNet para una conectividad de red segura.

En Fabric, estas opciones corresponden a la ejecución en la nube, On-premises Data Gateway (OPDG) y Virtual Network Data Gateway. Aquí se muestra cómo planear la migración:

  1. Identifique las canalizaciones que dependen de SHIR y planifique su asignación de puerta de enlace y dimensionamiento de capacidad.
  2. Valide DNS, salida, reglas de firewall y autenticación para cada conector.
  3. Ensayar escenarios de conmutación por error para garantizar la confiabilidad.
  4. Cuando sea posible, migre a puntos de conexión privados o puertas de enlace de datos de red virtual para simplificar las revisiones de seguridad y reducir la sobrecarga operativa.

Fabric simplifica la administración de procesos mediante el uso de recursos basados en la nube dentro de las capacidades de Fabric. Las IR de SSIS no están disponibles en Fabric. Para la conectividad local, use la puerta de enlace de datos local (OPDG). Para una conectividad de red segura, use el Virtual Network Data Gateway.

Al migrar:

  • Las IR de Azure para red pública no necesitan ser trasladadas.
  • Vuelva a crear SHIR como OPDG.
  • Reemplace las instancias de Azure habilitadas para red virtual por las Puertas de enlace de red virtual de datos.

Diferencias de actividad de canalización

Todas las actividades principales de Azure Data Factory (ADF), como Copy, Lookup, Stored Procedure/SQL Script, Web y Control, tienen equivalentes directos en Fabric. Sin embargo, hay algunas diferencias en las propiedades, la sintaxis de expresión y los límites. Al migrar, revise lo siguiente:

  • Políticas de reintento y tiempos de espera.
  • Configuración de paginación para orígenes REST.
  • Configuraciones de copia binaria frente a tabular.
  • Patrones "foreach" y "filter".
  • Variables del sistema usadas en contenido dinámico.

Fabric a menudo proporciona más opciones nativas para determinadas tareas. Por ejemplo, use SQL Script en un Data Warehouse en lugar de una llamada de procedimiento almacenado genérica para mejorar la rastreabilidad y la supervisión. Para simplificar la migración, centralice expresiones comunes como rutas, fechas y URIs específicos del cliente en parámetros de canalización. Esto reduce el desfase y acelera las pruebas.

Para obtener más información, consulte la continuidad de actividad entre Azure Data Factory y Fabric.

Diferencias de flujo de datos

Azure Data Factory (ADF) Flujos de Datos de Mapeo no se asignan directamente a Fabric. En su lugar, normalmente las retrabajará utilizando una de las siguientes opciones:

  • Flujo de datos Gen2 para transformaciones de conjunto de filas y transformaciones controladas y con poco código.
  • Fabric Warehouse SQL para tareas ELT basadas en conjuntos, como MERGE u otras operaciones ELT cercanas a los datos.
  • Cuadernos de Spark para transformaciones avanzadas, lógica compleja o procesamiento a gran escala.

Al migrar, valide lo siguiente:

  • Tipos de datos y control nulo.
  • Claves suplentes y dimensiones que cambian lentamente.
  • Patrones ELT idempotentes, como ensayo y MERGE, para garantizar las repeticiones predecibles.

Para escenarios de migración, consulte Migración de Dataflow Gen1 a Dataflow Gen2.

Parámetros globales en Azure Data Factory

Fabric usa bibliotecas de nivel de área de trabajo Variable Libraries para definir constantes entre elementos de Fabric. Al migrar a Microsoft Fabric Data Factory, deberá convertir los parámetros globales de Azure Data Factory en bibliotecas de variables.

Para obtener instrucciones de conversión completas, consulte Convertir los Parámetros Globales de ADF a Bibliotecas de Variables de Fabric.

ofertas de asociados de Azure Marketplace

Los asociados de migración de confianza, como Bitwise Global, proporcionan herramientas para ayudar con la migración. Estas herramientas pueden:

  • Examine el entorno de Azure Data Factory (ADF).
  • Generar los artefactos objetivo de Fabric.
  • Realizar análisis de impacto y seguimiento de linaje.
  • Cree planes de prueba automatizados.

Estas soluciones son especialmente útiles si tiene:

  • Cientos de canalizaciones.
  • Diversos conectores.
  • Requisitos estrictos de tiempo de inactividad.

Las herramientas de asociados estandarizan las reglas de asignación, generan informes de conversión y ejecutan pruebas de validación paralelas. Esto le permite comparar recuentos de filas, sumas de comprobación y rendimiento entre los entornos antiguos y nuevos. Incluso si no usa un asociado para toda la migración, sus módulos de detección y evaluación pueden ayudarle a iniciar el planeamiento interno y reducir las incertidumbres.

Uso de herramientas de IA

Los modelos de lenguaje grandes (LLM), como Microsoft Copilot, ChatGPT y Claude, pueden acelerar las tareas de migración. Estas herramientas son útiles para:

  • Refactorización de expresiones.
  • Conversión de JSON de Azure Data Factory (ADF) en sintaxis Fabric.
  • Escribir instrucciones MERGE.
  • Generación de plantillas de conexión.
  • Elaboración de scripts de validación.

También puede usarlos para crear documentación, como runbooks, diccionarios de datos y listas de comprobación de migración, lo que garantiza que los ingenieros y operadores permanezcan alineados. Sin embargo, mantenga estas herramientas en el bucle, no a cargo:

  • Evite pegar información confidencial en herramientas de inteligencia artificial.
  • Valide todos los elementos de un entorno de desarrollo.
  • Use pruebas automatizadas, como recuentos de filas, comparaciones de esquemas y comprobaciones de reglas de negocio, para detectar problemas sutiles, como errores de coincidencia de tipos o análisis de fechas específicos de la configuración regional.

Para obtener más información, consulte Use Copilot en Data Factory y AI en Microsoft Fabric.

Rutas de migración:

Las rutas de migración dependen de los recursos de ADF y su paridad de funcionalidad. Entre las opciones se incluyen:

Contenido relacionado

Compare Azure Data Factory con Data Factory en Fabric

  • Last updated on