Introducción a la migración de Azure Synapse Spark a Fabric

Use este artículo como punto de partida para migrar Azure Synapse cargas de trabajo de Spark a Microsoft Fabric. Le ayuda a decidir qué guía usar, qué se puede migrar directamente y dónde todavía se requiere la refactorización o validación manual.

Fabric Data Engineering admite lakehouse, notebook, entorno, definiciones de trabajos de Spark y pipeline. La mayoría de las migraciones de Spark de Synapse implican una combinación de migración de elementos, cambios de acceso a datos, migración de metadatos, refactorización de código y validación posterior a la migración.

Antes de migrar

Antes de empezar, confirme que Fabric Data Engineering es el destino adecuado para la carga de trabajo. Revise el entorno de ejecución de Spark, el modelo de seguridad, el modelo de grupo, el modelo de entorno y los patrones de acceso a datos de los que depende la implementación actual de Synapse.

Comience con estos artículos:

Si va a migrar un área de trabajo de Synapse existente, planee crear o usar un área de trabajo de Fabric existente como destino de migración. En este artículo no se aborda el aprovisionamiento completo del área de trabajo ni la migración de cargas de trabajo que no son de Spark.

¿Qué se puede migrar?

La migración de Synapse a Fabric suele abarcar varias secuencias de trabajo.

Área de migración Ámbito típico Guía principal
Planificación y evaluación Inventario de grupos de Spark, cuadernos, definiciones de trabajos de Spark, bases de datos de lago, servicios vinculados y bloqueadores Fase 1: Estrategia de migración y planeación
Elementos, refactorización de código, grupos, configuraciones y bibliotecas Cuadernos, definiciones de trabajos de Spark, grupos de Spark, asignaciones de bases de datos de lago, mssparkutils, servicios vinculados, rutas de acceso de archivo, API de catálogo, autenticación del conector, entornos, grupos personalizados, propiedades de Spark, compatibilidad de bibliotecas Fase 2: migración de cargas de trabajo de Spark
Metadatos de Hive Metastore y lake Bases de datos, tablas, particiones, tablas administradas frente a tablas externas Fase 3: Metastore de Hive y migración de datos
Acceso a datos y canalizaciones Accesos directos en OneLake, acceso a ADLS Gen2, actividades de copia, migración de pipelines Migración de datos y canalizaciones
Seguridad, validación y transición Roles, conexiones, gobernanza, comprobación, planeación de la transición Fase 4: Migración de seguridad y gobernanza

Elección de la ruta de migración

Usa el camino que coincida con tu meta.

  • Necesita un plan de migración integral. Comience con la serie de procedimientos recomendados de 4 fases. Este es el mejor punto de entrada para la mayoría de las migraciones de producción.
  • Desea mover rápidamente los elementos admitidos de Spark. Comience con el Spark Migration Assistant y, a continuación, use los artículos de refactorización y validación para cerrar las brechas.
  • Solo necesita ayuda con un área. Utilice los artículos específicos de la tarea para cuadernos, definiciones de trabajos de Spark, grupos, librerías, metadatos de Metastore de Hive o migración de datos y canalización.

Para la mayoría de los equipos, la forma más rápida de abordar una migración de Spark de Synapse es:

  1. Revise Compare Fabric y Azure Synapse Spark: Diferencias clave.
  2. Lea Fase 1: Estrategia y planeamiento de la migración.
  3. Ejecute el asistente de migración de Spark Synapse a Fabric Spark si procede.
  4. Refactorización de cuadernos, trabajos, grupos y bibliotecas de Spark mediante la fase 2: migración de cargas de trabajo de Spark.
  5. Valide el acceso a los datos, los metadatos, la seguridad y la preparación para el cambio utilizando los artículos sobre mejores prácticas restantes.

Captura de pantalla que muestra los escenarios de migración.

La migración de Synapse Spark a Fabric suele ser un proceso de copia y adaptación en lugar de un movimiento directo en el lugar. Puede migrar muchos recursos rápidamente, pero todavía debe esperar validar el comportamiento en tiempo de ejecución, reemplazar integraciones específicas de Synapse y alinear la seguridad, los metadatos y los patrones operativos con Fabric.

Serie de procedimientos recomendados

Use la serie de procedimientos recomendados para una ruta de migración estructurada de un extremo a otro:

Artículos específicos de la migración por tarea

Si necesita instrucciones dirigidas para una tarea de migración específica, use estos artículos:

Contenido relacionado

  • Last updated on