Migración del nivel de datos del sistema central a Azure con mLogica LIBER*IRIS

Azure Database for MySQL
Azure Database para PostgreSQL
Azure Cosmos DB
Azure SQL Database
Azure Storage

Las aplicaciones del sistema central generan grandes volúmenes de datos transaccionales. Azure es una plataforma adecuada para modernizar estas cargas de trabajo y migrar sus datos. Azure bases de datos relacionales y de NoSQL proporcionan escalabilidad, alta disponibilidad y facilidad de mantenimiento que cumple o supera los entornos del sistema central. Si planea retirar una carga de trabajo del sistema central y mantener los datos en un almacenamiento de bajo costo, Azure proporciona varias opciones de almacenamiento.

La migración de cargas de trabajo de un sistema central a Azure como parte de la expansión o refactorización de aplicaciones normalmente requiere la migración de datos a escala. mLogica LIBER*IRIS proporciona una solución probada para la migración masiva de datos de un sistema central a Azure. La solución funciona a gran escala para migrar cargas de trabajo empresariales. En este artículo se describe cómo migrar datos del sistema central z/OS de IBM a Azure con alta fidelidad.

Arquitectura

En el diagrama siguiente se muestra cómo mLogica LIBER*IRIS se integra con los componentes de Azure para migrar datos del sistema central a Azure a escala.

Diagram que muestra la arquitectura de cómo se integra mLogica LIBER*IRIS con componentes de Azure para migrar datos del sistema central.

LIBER*IRIS de mLogica y sus logotipos son marcas comerciales de su empresa. El uso de estas marcas no implica ninguna aprobación.

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

El siguiente flujo de datos corresponde al diagrama anterior:

  1. Copia de archivos de lenguaje de definición de datos (DDL), archivos de descripción de base de datos (DBD), copybooks, diseños de datos y otros artefactos de descripción de datos en una máquina virtual Linux (VM) de Azure que ejecuta herramientas del servicio de migración de datos mLogica. Usa el Protocolo de Transferencia de Archivos Seguro (FTPS) a través de una red privada virtual (VPN) segura de sitio a sitio de Azure o Azure ExpressRoute.

  2. El clúster de migración de datos mLogica LIBER*IRIS genera scripts de extracción de datos para ejecutarse en el sistema central.

  3. Use FTPS a través de la VPN para transferir los scripts de extracción de datos al sistema central. La conexión FTPS convierte código ASCII al formato EBCDIC del sistema central.

  4. Los scripts extraídos se ejecutan en el sistema central. Exportan datos de varios orígenes a archivos secuenciales, donde todos los datos decimales empaquetados se desempaquetan. Generan los scripts de carga de SQL usados para cargar los datos en la base de datos de destino.

  5. El sistema transfiere los archivos secuenciales y carga scripts a Azure Blob Storage mediante el protocolo binario de transferencia de archivos seguros (SFTP). Los datos del sistema central permanecen en formato EBCDIC en este paso.

  6. El servicio de migración de datos de mLogica ejecuta los scripts de carga para convertir EBCDIC en ASCII. Los scripts registran errores durante la carga en Azure Storage. Para reducir los costos, puede usar dos cuentas de almacenamiento. Almacene los archivos de datos en un nivel de acceso frecuente y los archivos de registro en un nivel de acceso inactivo.

  7. Los scripts cargan los datos convertidos en ASCII de archivos secuenciales en la base de datos relacional de destino Azure. Los scripts de carga incluyen comandos DDL para crear tablas y otros objetos, así como consultas SQL para cargar los datos en esos objetos. Escale el proceso de carga horizontalmente en un clúster para maximizar el rendimiento según sea necesario. Los registros de ejecución y los registros de excepciones detallados se almacenan en Blob Storage para su posterior análisis.

  8. El servicio de migración de datos mLogica LIBER*IRIS ejecuta los scripts de carga para transformar datos del formato de archivo relacional a NoSQL formato de base de datos. Puede cargar estos datos NoSQL en Azure Cosmos DB mediante la API de SQL de Azure Cosmos DB.

Componentes

Esta solución usa los siguientes componentes.

Redes e identidades

  • Azure VPN Gateway es una puerta de enlace de red virtual que envía tráfico cifrado entre una red virtual Azure y una ubicación local a través de la red pública de Internet. En esta arquitectura, VPN Gateway proporciona una alternativa a ExpressRoute para una conectividad segura entre el entorno del sistema central y Azure.

  • ExpressRoute es un servicio de conectividad que extiende las redes locales a Azure a través de un proveedor de conectividad. En esta arquitectura, ExpressRoute proporciona una conexión privada segura para transferir archivos de definición de datos y scripts de extracción entre el sistema central y Azure.

  • Microsoft Entra ID es un servicio de administración de identidades y acceso que se puede sincronizar con un directorio local. En esta arquitectura, Microsoft Entra ID proporciona autenticación y control de acceso para clúster de migración de datos de mLogica y los recursos de Azure.

Compute

  • Azure Virtual Machines es un servicio de proceso que proporciona recursos informáticos escalables a petición. En esta arquitectura, el clúster de migración de datos de mLogica se ejecuta en Azure máquinas virtuales Linux optimizadas para el rendimiento de red.

Bases de datos y almacenamiento

  • Azure SQL, Azure Database for PostgreSQL y Azure Database for MySQL son servicios de plataforma como servicio (PaaS) totalmente administrados para SQL Server, PostgreSQL y MySQL respectivamente. En esta arquitectura, estos servicios proporcionan opciones de alto rendimiento y alta disponibilidad para datos relacionales del sistema central, datos no relacionales emulados y datos emulados del método de acceso de almacenamiento virtual (VSAM).

  • Azure Cosmos DB es un servicio de base de datos NoSQL totalmente administrado que proporciona baja latencia y escalabilidad elástica. En esta arquitectura, migra orígenes de sistema central no relacionales como Information Management System (IMS), Integrated Database Management System (IDMS) y Adaptable Database System (ADABAS).

  • Blob Storage es un servicio de almacenamiento en la nube que proporciona almacenamiento de alta disponibilidad, cifrado en reposo, rentable y de alta capacidad. En esta arquitectura, Blob Storage admite el tráfico SFTP binario directo desde el sistema central y puede montar contenedores en máquinas virtuales Linux mediante NFS 3.0 para almacenar archivos secuenciales y cargar scripts.

Supervisión

  • Azure Monitor es una plataforma de supervisión que recopila, analiza y actúa sobre la telemetría de entornos locales y en la nube. En esta arquitectura, Azure Monitor supervisa el clúster de migración de datos de mLogica y configura alertas para la administración proactiva.

    • Application Insights es una característica de Azure Monitor que supervisa el rendimiento de las aplicaciones mediante la recopilación y el análisis de telemetría. En esta arquitectura, Application Insights supervisa el clúster de migración de datos de mLogica para obtener información de rendimiento y diagnósticos.

    • Azure Monitor Logs es una característica de Azure Monitor que recopila y organiza los datos de registro y rendimiento de los recursos supervisados. En esta arquitectura, los registros de Azure Monitor consolidan los datos de varios orígenes en un solo área de trabajo, incluidos los registros de plataforma de los servicios de Azure, los datos de registro y rendimiento de los agentes de máquina virtual y los datos de uso y rendimiento de las aplicaciones.

    • Log Analytics es una característica de Azure Monitor que ejecuta consultas de registro para ayudarle a usar los datos recopilados en registros de Azure Monitor. En esta arquitectura, Log Analytics analiza los registros de ejecución de scripts de carga de mLogica que Blob Storage almacena. Usa un lenguaje de consulta para combinar datos de varias tablas, agregar grandes conjuntos de datos y realizar operaciones complejas.

Detalles del escenario

En este artículo se describe cómo puede usar el producto mLogica para realizar la migración masiva de datos desde un sistema central a Azure.

Posibles casos de uso

Esta carga de trabajo de ejemplo admite dos casos de uso clave:

  • Replataforma o refactorización de cargas de trabajo: Trasladar todos los datos del mainframe relacionados con la carga de trabajo de un mainframe a Azure. Estos datos incluyen bases de datos (como Db2, IMS e IDMS) y archivos.

  • Archival: Retire la carga de trabajo del sistema central y conserve los datos en una solución de almacenamiento de Azure de bajo costo.

Consideraciones

Estas consideraciones implementan los pilares del marco de Azure Well-Architected, que es un conjunto de principios rectores que puede usar para mejorar la calidad de una carga de trabajo. Para obtener más información, consulte Well-Architected Framework.

Confiabilidad

La confiabilidad ayuda a garantizar que la aplicación pueda cumplir los compromisos que realice para sus clientes. Para obtener más información, consulte la Lista de comprobación de revisión de diseño para la fiabilidad.

Siga estas recomendaciones generales a menos que tenga un requisito concreto que las invalide:

  • Cree todos los recursos Azure para este escenario en una sola región para reducir la latencia de red.

  • Divida los datos en varios archivos y envíelos a Azure en paralelo, en lugar de enviar un único archivo grande desde el sistema central.

  • Use Azure Monitor y Application Insights para supervisar el clúster de migración de datos de mLogica. Establezca alertas para una administración proactiva.

Disponibilidad

En este flujo de trabajo de ejemplo se describe la migración de datos de sistema central a Azure para replatar, refactorizar o archivar una carga de trabajo. Normalmente, se ejecuta esta tarea discreta varias veces durante un proyecto de meses. Este escenario no requiere alta disponibilidad, pero puede diseñar el clúster de migración de datos de mLogica para proporcionar alta disponibilidad.

Los servicios de base de datos de Azure admiten redundancia de zona. Puede configurar la conmutación por error para gestionar interrupciones y ventanas de mantenimiento.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el uso indebido de sus valiosos datos y sistemas. Para obtener más información, vea Lista de comprobación de revisión de diseño para la seguridad. Para obtener instrucciones generales sobre el diseño de soluciones seguras, consulte la documentación de seguridad Azure.

Servicios de base de datos en Azure admiten varias opciones de seguridad.

Puede controlar la autenticación y el control de acceso en el clúster de migración de datos de mLogica mediante Microsoft Entra ID. Puede configurar recursos de Azure para la autenticación y la autorización mediante Microsoft Entra ID y el control de acceso basado en roles (RBAC).

TLS cifra los datos en tránsito entre el clúster de migración de datos mLogica y el sistema central. Puede almacenar certificados TLS en Azure Key Vault para mejorar la seguridad. Secure Shell (SSH) cifra los datos en tránsito desde el sistema central a Blob Storage.

Los datos del sistema central y los scripts de carga se almacenan temporalmente en Blob Storage, donde se cifran en reposo. Los datos se eliminan de Blob Storage una vez completada la migración.

En este flujo de trabajo de ejemplo se usa ExpressRoute o VPN de sitio a sitio para una conexión privada y eficaz a Azure desde el entorno local.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costos.

  • Escale, pause y reanude los recursos de computación mediante Azure SQL Database sin servidor. Ajusta automáticamente los recursos de computación según la actividad de la carga de trabajo para que solo pagues por los recursos que utilices.

  • Use una directiva de administración del ciclo de vida para mover datos entre los niveles de acceso en Azure Blob Storage.

    Mover datos de un nivel de acceso más caliente a uno más frío cuando nadie accede a ellos durante un período de tiempo. También puede mover los datos de un nivel de acceso más frío a un nivel de acceso de archivo.

  • Use Azure Advisor para buscar recursos infrautilizados. Obtenga recomendaciones sobre cómo reconfigurar o consolidar los recursos para reducir el gasto.

  • Use la calculadora de precios Azure para calcular los costos de componentes de Azure para esta solución.

Excelencia operativa

La excelencia operativa abarca los procesos de operaciones que implementan una aplicación y lo mantienen en ejecución en producción. Para obtener más información, vea Lista de comprobación de revisión de diseño para la excelencia operativa.

Puede usar Azure DevOps para volver a diseñar aplicaciones del sistema central en Azure durante cada fase del desarrollo de software y la colaboración en equipo. Azure DevOps proporciona estos servicios:

  • Azure Boards: planeamiento ágil, seguimiento de elementos de trabajo, visualización e informes.

  • Azure Pipelines: lenguaje, plataforma y integración continua independiente de la nube y plataforma de entrega continua (CI/CD) que admite contenedores o Kubernetes.

  • Azure Repos: repositorios git privados hospedados en la nube.

  • Azure Artifacts: administración integrada de paquetes que admite maven, npm, Python y fuentes de paquetes NuGet de orígenes públicos o privados.

  • Azure Test Plans: una solución integrada de pruebas planeadas y exploratorias.

Eficiencia del rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, vea Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

Use las siguientes recomendaciones para mejorar la eficiencia del rendimiento:

  • Implemente el clúster de migración de datos de mLogica en varias máquinas virtuales si migra varios conjuntos de datos independientes de gran tamaño para maximizar la velocidad de carga de datos. Puede cargar varios conjuntos de datos en paralelo desde el sistema central a Blob Storage.

  • Considere la posibilidad de usar SQL Database sin servidor para el escalado automático basado en cargas de trabajo. Puede escalar hacia arriba y hacia abajo otras bases de datos de Azure mediante la automatización para satisfacer las demandas de su carga de trabajo. Para más información, consulte Escalado automático.

Colaboradores

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

Para ver perfiles de LinkedIn no públicos, inicie sesión en LinkedIn.

Pasos siguientes

Revise las guías Azure de migración de bases de datos.

Para obtener más información, póngase en contacto con Azure Data Engineering - Mainframe y Modernización de sistemas de gama media.