Tutorial: Uso de paquetes SSIS para escribir archivos en OneLake mediante Azure Data Lake Storage Gen2

En este tutorial se muestra cómo ejecutar un paquete SSIS existente que escribe archivos en Azure Data Lake Storage (ADLS) Gen2 y, a continuación, exponer esos archivos en OneLake mediante un acceso directo. Al combinar la actividad de invocar paquete SSIS en Data Factory para Microsoft Fabric con enlaces de OneLake, puede centralizar todos los datos en OneLake, incluso los datos generados por cargas de trabajo heredadas de SSIS.

Caso de uso

Muchas organizaciones tienen paquetes SSIS que extraen y transforman datos y, a continuación, escriben los resultados como archivos planos (CSV, Parquet, XML y otros) en Azure Data Lake Storage Gen2. Estos archivos los consumen los sistemas de análisis e informes de nivel inferior.

Con Microsoft Fabric, puede incluir esos archivos en OneLake sin cambiar la lógica del paquete SSIS:

  • Conservar las inversiones en SSIS existentes : siga usando paquetes probados por batalla que escriben archivos en ADLS Gen2 a través del administrador de conexiones de Azure Storage. No se requiere reescritura de paquetes.
  • Centralice los datos en OneLake : cree un acceso directo de ADLS Gen2 en una instancia de Fabric Lakehouse para que los archivos escritos por SSIS aparezcan automáticamente en OneLake, listos para su consumo por Spark, SQL, Power BI y otras cargas de trabajo de Fabric.
  • Orquestar en Fabric - Use la actividad Invocar el paquete SSIS en un pipeline de Fabric para programar y supervisar la ejecución de paquetes junto con otras actividades nativas de Fabric.

Prerrequisitos

Antes de comenzar, asegúrese de que tiene:

Visión general

El flujo de trabajo de un extremo a otro tiene cuatro pasos:

Paso Qué haces Resultado
1 Configuración del paquete SSIS para escribir archivos en ADLS Gen2 El paquete genera archivos de salida en la cuenta de almacenamiento.
2 Creación de un acceso directo de ADLS Gen2 en una instancia de Fabric Lakehouse Los archivos escritos en ADLS Gen2 aparecen automáticamente en OneLake
3 Carga del paquete SSIS en OneLake El paquete se almacena en OneLake y está listo para invocarse
4 Ejecuta el paquete desde una canalización de Fabric La canalización organiza la ejecución y escribe la salida en OneLake.

Paso 1: Configuración del paquete SSIS para escribir archivos en ADLS Gen2

En este paso, asegúrese de que el paquete SSIS usa un administrador de conexiones de Azure Storage para escribir archivos en la cuenta de ADLS Gen2.

  1. Abra el proyecto de SSIS en Visual Studio con la extensión Proyectos de SQL Server Integration Services.

  2. Instale el Azure Feature Pack para Integration Services (SSIS). Feature Pack proporciona el administrador de conexiones de Azure Storage, el origen de blobs de Azure, el destino de blobs de Azure y otras tareas y componentes relacionados con Azure necesarios para conectarse a ADLS Gen2 desde un paquete SSIS.

  3. En la bandeja Administradores de conexiones , agregue (o compruebe) un administrador de conexiones de Azure Storage . Configure las siguientes propiedades:

    Propiedad Importancia
    Servicio ADLS Gen2
    Autenticación Elija uno: AccessKey, ServicePrincipal o SharedAccessSignature
    Nombre de cuenta Nombre de la cuenta de almacenamiento de ADLS Gen2

    Captura de pantalla del cuadro de diálogo de configuración del administrador de conexiones de Azure Storage.

  4. Configura el flujo de datos o la tarea del sistema de archivos para usar este administrador de conexiones y escribir archivos de salida en una ruta de acceso de contenedor y de carpeta en la cuenta de almacenamiento, por ejemplo, mycontainer\myfolder.

    Captura de pantalla de la configuración del flujo de datos con la ruta de acceso del contenedor y la carpeta de la cuenta de almacenamiento.

  5. Pruebe la conexión y compruebe que el paquete se ejecuta correctamente en el equipo local.

Para más información sobre el administrador de conexiones de Azure Storage, consulte Administrador de conexiones de Azure Storage.

Sugerencia

Si el paquete usa el nivel de protección DontSaveSensitive , las credenciales no se conservan en el archivo de paquete. Los proporciona en tiempo de ejecución a través de la pestaña Administradores de conexión de la actividad Invocar paquete SSIS. Como alternativa, puede establecer el nivel de protección del paquete en EncryptSensitiveWithPassword, que cifra las credenciales dentro del paquete. A continuación, proporcione la contraseña del paquete en la actividad Invocar paquete SSIS en tiempo de ejecución en lugar de proporcionar credenciales individuales del administrador de conexiones (paso 4).

Paso 2: Creación de un acceso directo de ADLS Gen2 en una instancia de Fabric Lakehouse

Un acceso directo hace que los archivos escritos por el paquete SSIS estén visibles en OneLake sin copiar datos. Cualquier carga de trabajo de Fabric (Spark, punto de conexión de análisis de SQL, Power BI) puede leer los archivos mediante el acceso directo.

  1. Abre tu lakehouse en el portal de Fabric.

  2. En el panel Explorador , haga clic con el botón derecho en la carpeta Archivos (o una subcarpeta) y seleccione Nuevo acceso directo.

  3. En Orígenes externos, seleccione Azure Data Lake Storage Gen2.

  4. Escriba la dirección URL de conexión: el punto de conexión DFS de la cuenta de almacenamiento:

    https://<STORAGE_ACCOUNT_NAME>.dfs.core.windows.net
    
  5. Seleccione una conexión existente o cree una nueva. Elija un tipo de autenticación que tenga al menos el rol Lector de datos de Storage Blob en la cuenta de almacenamiento.

  6. Seleccione Siguiente y, a continuación, vaya al contenedor y la carpeta donde el paquete SSIS escribe archivos (por ejemplo, mycontainer).

  7. Seleccione la carpeta de destino y, a continuación, seleccione SiguienteCrear.

    Captura de pantalla del cuadro de diálogo de creación del acceso directo que muestra el contenedor de almacenamiento seleccionado.

El acceso directo ahora aparece en tu lakehouse. Cualquier archivo que el paquete SSIS escriba en la carpeta de destino de ADLS Gen2 se puede acceder automáticamente en OneLake a través de este acceso directo.

Para obtener instrucciones detalladas, consulte Creación de un acceso directo de Azure Data Lake Storage Gen2. Para obtener más información sobre los accesos directos, consulte Accesos directos de OneLake.

Paso 3: Carga del paquete SSIS en OneLake

La actividad de invocación de paquetes SSIS lee paquetes desde OneLake. Cargue su archivo .dtsx (y opcionalmente el archivo .dtsConfig) a un Lakehouse.

  1. En el portal de Fabric, abre el lakehouse donde desea almacenar el paquete.

  2. En la sección Archivos , cree una carpeta , por ejemplo, ssis-packages.

  3. Cargue el paquete mediante uno de estos métodos:

    Método Cómo
    Portal de Fabric Seleccione CargarCargar archivos y elija el archivo .dtsx .
    Explorador de archivos de OneLake Arrastre y coloque el archivo en la packages carpeta a través del explorador de archivos de OneLake en el escritorio.

Para obtener más información sobre cómo cargar archivos en OneLake, consulte la documentación de la actividad Invocar paquete SSIS.

Paso 4: Ejecuta el paquete en una canalización de Fabric

  1. En el área de trabajo de Fabric, cree una nueva canalización de datos o abra una existente.

  2. En el panel Actividades , agregue la actividad Invocar paquete SSIS al lienzo de la canalización.

  3. En la pestaña Configuración , configure la actividad:

    Configuración Importancia
    Ruta de acceso del paquete Vaya al archivo .dtsx que cargó en el paso 3.
    Ruta de acceso de configuración(opcional) Vaya al archivo .dtsConfig, si corresponde.
    Contraseña de cifrado(opcional) Si el nivel de protección del paquete es EncryptSensitiveWithPassword o EncryptAllWithPassword, proporcione la contraseña usada para cifrar el paquete.
    Habilitar registro Seleccione esta opción para escribir registros de ejecución en OneLake.

    Captura de pantalla de la pestaña Invoke SSIS Package activity settings (Invocar configuración de actividad del paquete SSIS) en una canalización de Fabric.

  4. Seleccione Guardar y, después, ejecutar para ejecutar la canalización inmediatamente o seleccione Programar para configurar la ejecución periódica.

  5. Supervise el progreso en la pestaña Salida de la canalización o en el centro de supervisión del área de trabajo. Si el registro está habilitado, la salida de la actividad incluye la ruta de registro en OneLake.

Para obtener detalles completos de configuración, consulte Uso de la actividad Invocar paquete SSIS para ejecutar un paquete SSIS.

Comprobación de los resultados

Una vez que el proceso de la canalización se complete correctamente:

  1. Abra el lakehouse y vaya al acceso directo que creó en el Paso 2.
  2. Confirme que los archivos de salida escritos por el paquete SSIS aparecen en la carpeta de acceso directo.

Resumen

Al combinar algunas funcionalidades de Fabric, puede incorporar la salida de SSIS basada en archivos a OneLake sin modificar los paquetes existentes:

  1. El administrador de conexiones de Azure Storage escribe archivos en ADLS Gen2 desde el paquete SSIS.
  2. Un acceso directo de OneLake muestra esos archivos en fabric lakehouse: no se requiere ninguna copia de datos.
  3. La carga de paquetes en OneLake hace que el archivo .dtsx esté disponible para la ejecución de la canalización de Fabric.
  4. Invocar la actividad del paquete SSIS organiza y supervisa la ejecución de paquetes en una canalización de Fabric.

Este patrón le permite administrar todos los datos en OneLake a la vez que conserva las inversiones en SSIS existentes.