Partilhar via

Migrar a camada de dados do mainframe na Azure com mLogica LIBER*IRIS

Base de Dados do Azure para MySQL
Base de Dados do Azure para PostgreSQL
Azure Cosmos DB
Base de Dados SQL do Azure
Armazenamento do Azure

As aplicações mainframe geram grandes volumes de dados transacionais. O Azure é uma plataforma adequada para modernizar estas cargas de trabalho e migrar os seus dados. As bases de dados relacionais e NoSQL do Azure oferecem escalabilidade, alta disponibilidade e facilidade de manutenção que cumpre ou supera os ambientes mainframe. Se planeia reformar uma carga de trabalho mainframe e manter os dados em armazenamento de baixo custo, o Azure oferece várias opções de armazenamento.

Migrar cargas de trabalho de um mainframe para o Azure como parte do replatforming ou refatoração de aplicações normalmente requer migração de dados em grande escala. mLogica LIBER*IRIS fornece uma solução comprovada para migração em massa de dados de um mainframe para Azure. A solução opera em escala para migrar cargas de trabalho corporativas. Este artigo descreve como migrar dados do mainframe IBM z/OS para o Azure com alta fidelidade.

Arquitetura

O diagrama seguinte mostra como o mLogica LIBER*IRIS se integra com os componentes do Azure para migrar dados do mainframe para o Azure em grande escala.

Diagrama que mostra a arquitetura de como o mLogica LIBER*IRIS se integra com Azure componentes para migrar dados do mainframe.

mLogica LIBER*IRIS e os seus logótipos são marcas comerciais da sua empresa. O uso destas marcas não implica qualquer endosso.

Descarregue um ficheiro Visio desta arquitetura.

Fluxo de dados

O seguinte fluxo de dados corresponde ao diagrama anterior:

  1. Copie ficheiros de linguagem de definição de dados (DDL), ficheiros de descrição de base de dados (DBD), cadernos de cópia, layouts de dados e outros artefactos de descrição de dados para uma máquina virtual Linux Azure (VM) que execute ferramentas de serviço de migração de dados mLogica. Use o File Transfer Protocol Secure (FTPS) através de uma rede privada virtual (VPN) site-to-site segura da Azure ou Azure ExpressRoute.

  2. O cluster de migração de dados mLogica LIBER*IRIS gera scripts de extração de dados para serem executados no mainframe.

  3. Use FTPS sobre a VPN para transferir os scripts de extração de dados para o mainframe. A conexão FTPS converte ASCII para o formato EBCDIC de mainframe.

  4. Os scripts extraídos são executados no mainframe. Exportam dados de múltiplas fontes para ficheiros sequenciais, onde todos os dados decimais embalados são desempacotados. Geram os scripts de carregamento SQL usados para carregar os dados na base de dados de destino.

  5. O sistema transfere os ficheiros sequenciais e os scripts de carregamento para o Armazenamento de Blobs do Azure utilizando o Protocolo Binário Seguro de Transferência de Ficheiros (SFTP). Os dados do mainframe mantêm-se em formato EBCDIC nesta fase.

  6. O serviço de migração de dados mLogica executa os scripts de carga para converter EBCDIC em ASCII. Os scripts escrevem erros durante o carregamento no Armazenamento do Azure. Para reduzir custos, pode usar duas contas de armazenamento. Armazene ficheiros de dados numa camada de acesso quente e ficheiros de registo numa camada de acesso frio.

  7. Os scripts carregam os dados convertidos em ASCII a partir de ficheiros sequenciais para a base de dados relacional Azure de destino. Os scripts de carregamento incluem comandos DDL para criar tabelas e outros objetos e consultas SQL para carregar os dados nesses objetos. Escale horizontalmente o processo de carga num cluster para maximizar a largura de banda conforme necessário. Registos de execução e registos detalhados de exceções são armazenados no Armazenamento de Blobs para análise adicional.

  8. O serviço de migração de dados mLogica LIBER*IRIS executa os scripts de carregamento para transformar dados do formato de ficheiro relacional para o formato de base de dados NoSQL. Pode carregar estes dados NoSQL para o Azure Cosmos DB usando a API SQL do Azure Cosmos DB.

Componentes

Esta solução utiliza os seguintes componentes.

Rede de comunicação e identidade

  • Gateway de VPN do Azure é um gateway de rede virtual que envia tráfego encriptado entre uma rede virtual Azure e uma localização local sobre a internet pública. Nesta arquitetura, o Gateway de VPN oferece uma alternativa ao ExpressRoute para conectividade segura entre o ambiente mainframe e o Azure.

  • ExpressRoute é um serviço de conectividade que estende redes locais para Azure através de um fornecedor de conectividade. Nesta arquitetura, o ExpressRoute fornece uma ligação privada segura para transferir ficheiros de definição de dados e scripts de extração entre o mainframe e o Azure.

  • Microsoft Entra ID é um serviço de gestão de identidade e acessos que pode sincronizar com um diretório local. Nesta arquitetura, o Microsoft Entra ID fornece autenticação e controlo de acesso para o cluster de migração de dados mLogica e para os recursos do Azure.

Computação

  • Máquinas Virtuais do Azure é um serviço de computação que fornece recursos computacionais escaláveis e sob demanda. Nesta arquitetura, o cluster de migração de dados mLogica corre em VMs Linux Azure otimizadas para desempenho de rede.

Bancos de dados e armazenamento

  • SQL do Azure, Base de Dados do Azure para PostgreSQL e Base de Dados do Azure para MySQL são serviços totalmente geridos de plataforma como serviço (PaaS) para SQL Server, PostgreSQL e MySQL, respetivamente. Nesta arquitetura, estes serviços fornecem opções de alto desempenho e altamente disponíveis para dados relacionais de mainframe, dados não relacionais emulados e dados emulados do Método de Acesso ao Armazenamento Virtual (VSAM).

  • Azure Cosmos DB é um serviço de base de dados NoSQL totalmente gerido que oferece baixa latência e escalabilidade elástica. Nesta arquitetura, migra fontes mainframe não relacionais como o Sistema de Gestão de Informação (IMS), o Sistema Integrado de Gestão de Bases de Dados (IDMS) e o Sistema de Base de Dados Adaptável (ADABAS).

  • Armazenamento de Blobs é um serviço de armazenamento na nuvem que fornece armazenamento altamente disponível, encriptado em repouso, eficiente em custos e de alta capacidade. Nesta arquitetura, o Armazenamento de Blobs suporta tráfego SFTP binário direto do mainframe e pode montar containers em VMs Linux usando o NFS 3.0 para armazenar ficheiros sequenciais e carregar scripts.

Monitorização

  • Azure Monitor é uma plataforma de monitorização que recolhe, analisa e atua em telemetria a partir de ambientes cloud e on-premises. Nesta arquitetura, o Azure Monitor monitoriza o cluster de migração de dados do mLogica e configura alertas para uma gestão proativa.

    • Application Insights é uma funcionalidade Azure Monitor que monitoriza o desempenho da aplicação através da recolha e análise de telemetria. Nessa arquitetura, o Application Insights monitora o cluster de migração de dados mLogica para obter insights e diagnósticos de desempenho.

    • Azure Monitor Logs é uma funcionalidade Azure Monitor que recolhe e organiza dados de registo e desempenho a partir de recursos monitorizados. Nesta arquitetura, o Azure Monitor Logs consolida dados de múltiplas fontes num único espaço de trabalho, incluindo registos de plataforma dos serviços Azure, dados de registo e desempenho de agentes VM, e dados de utilização e desempenho de aplicações.

    • Log Analytics é uma funcionalidade do Azure Monitor que executa consultas de registo para ajudar a utilizar os dados recolhidos no Azure Monitor Logs. Nesta arquitetura, o Log Analytics analisa os registos de execução dos scripts de carregamento mLogica que o Armazenamento de Blobs armazena. Utiliza uma linguagem de consulta para juntar dados de múltiplas tabelas, agregar grandes conjuntos de dados e realizar operações complexas.

Detalhes do cenário

Este artigo descreve como pode usar o produto mLogica para realizar migração em massa de dados de um sistema mainframe para o Azure.

Potenciais casos de utilização

Este exemplo de carga de trabalho suporta dois casos de uso principais:

  • Replataforma ou refatoração de carga de trabalho: Mover todos os dados principais do mainframe relacionados com a carga de trabalho de um mainframe para o Azure. Esses dados incluem bancos de dados, como DB2, IMS e IDMS, e arquivos.

  • Archival: Retire a carga de trabalho do mainframe e retenha os dados numa solução de armazenamento Azure de baixo custo.

Considerações

Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Fiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para Confiabilidade.

Siga estas recomendações gerais, a menos que tenha um requisito específico que as substitua:

  • Crie todos os recursos do Azure para este cenário numa única região para reduzir a latência da rede.

  • Divida os dados em vários ficheiros e envie-os para o Azure em paralelo, em vez de enviar um único ficheiro grande a partir do mainframe.

  • Use Azure Monitor e Application Insights para monitorizar o cluster de migração de dados mLogica. Configure alertas para gerenciamento proativo.

Disponibilidade

Este fluxo de trabalho de exemplo descreve a migração de dados de mainframe para Azure para replatformar, refatorar ou arquivar uma carga de trabalho. Normalmente executas esta tarefa discreta algumas vezes durante um projeto de um mês. Este cenário não exige alta disponibilidade, mas pode desenhar o cluster de migração de dados mLogica para proporcionar alta disponibilidade.

Os serviços de base de dados do Azure suportam redundância de zonas. Podes configurar o failover para falhas e janelas de manutenção.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para a Segurança. Para orientações gerais sobre o desenho de soluções seguras, consulte a documentação de segurança Azure.

Os serviços de bases de dados no Azure suportam várias opções de segurança.

Pode controlar a autenticação e o controlo de acessos no cluster de migração de dados mLogica usando o Microsoft Entra ID. Pode configurar recursos do Azure para autenticação e autorização usando o Microsoft Entra ID e controlo de acesso baseado em funções (RBAC).

O TLS encripta os dados em trânsito entre o cluster de migração de dados mLogica e o mainframe. Pode armazenar certificados TLS em Azure Key Vault para maior segurança. O Secure Shell (SSH) encripta os dados em trânsito do mainframe para o Armazenamento de Blobs.

Os dados do mainframe e os scripts de carregamento são temporariamente armazenados no Armazenamento de Blobs, onde são encriptados em repouso. Os dados são eliminados do Armazenamento de Blobs após a conclusão da migração.

Este fluxo de trabalho de exemplo utiliza ExpressRoute ou site-to-site VPN para uma ligação privada e eficiente a Azure do seu ambiente local.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.

  • Escale, pause e retome os recursos de computação usando Base de Dados SQL do Azure serverless. Ajusta automaticamente o cálculo com base na atividade da carga de trabalho para que pagues apenas pelos recursos que utilizas.

  • Use uma política de gestão do ciclo de vida para mover dados entre camadas de acesso no Armazenamento de Blobs do Azure.

    Mude os dados de um nível de acesso mais quente para um mais frio quando ninguém os acede durante algum tempo. Você também pode mover dados de uma camada de acesso mais fria para uma camada de acesso de arquivamento.

  • Use Assistente do Azure para encontrar recursos subutilizados. Obtenha recomendações sobre como reconfigurar ou consolidar recursos para reduzir seus gastos.

  • Use a calculadora de preços do Azure para estimar os custos dos componentes do Azure desta solução.

Excelência Operacional

A Excelência Operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Lista de verificação de revisão de projeto para o Operational Excellence.

Pode usar o Azure DevOps para reengenheirar aplicações de mainframe no Azure em todas as fases do desenvolvimento de software e da colaboração em equipa. O Azure DevOps fornece os seguintes serviços:

  • Azure Boards: Planeamento ágil, acompanhamento de itens de trabalho, visualização e relatórios.

  • Azure Pipelines: Uma linguagem, plataforma e plataforma independente da cloud para integração contínua e entrega contínua (CI/CD) que suporta containers ou Kubernetes.

  • Repositórios do Azure: Repositórios privados Git alojados na cloud.

  • Artefactos do Azure: Gestão integrada de pacotes que suporta feeds de pacotes Maven, npm, Python e NuGet provenientes de fontes públicas ou privadas.

  • Planos de Teste do Azure: Uma solução integrada de testes planeados e exploratórios.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da sua carga de trabalho de escalar para atender às demandas dos usuários de forma eficiente. Para obter mais informações, consulte Lista de verificação de revisão de design para Eficiência de desempenho.

Use as seguintes recomendações para melhorar a eficiência de desempenho:

  • Implemente o cluster de migração de dados mLogica em múltiplas VMs se migrar vários grandes conjuntos de dados independentes para maximizar a velocidade de carregamento dos dados. Podes carregar múltiplos conjuntos de dados em paralelo do mainframe para o Armazenamento de Blobs.

  • Considere o SQL Database serverless para escalonamento automático com base em carga de trabalho. Pode escalar outras bases de dados Azure para cima e para baixo usando automação para satisfazer as suas exigências de carga de trabalho. Para obter mais informações, consulte Autoscaling.

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

Para ver perfis de LinkedIn não públicos, inicie sessão no LinkedIn.

Próximos passos

Consulte os guias de migração da base de dados Azure.

Para mais informações, contacte Azure Engenharia de Dados - Mainframe e Modernização Intermédia.