Compartilhar via

Migrar a camada de dados do mainframe para Azure com mLogica LIBER*IRIS

Banco de Dados do Azure para MySQL
Banco de Dados do Azure para PostgreSQL
Azure Cosmos DB
Banco de Dados SQL do Azure
Armazenamento do Azure

Os aplicativos mainframe geram grandes volumes de dados transacionais. Azure é uma plataforma adequada para modernizar essas cargas de trabalho e migrar seus dados. Azure bancos de dados relacionais e NoSQL fornecem escalabilidade, alta disponibilidade e facilidade de manutenção que atende ou excede ambientes de mainframe. Se você planeja desativar uma carga de trabalho de mainframe e manter os dados no armazenamento de baixo custo, Azure fornecerá várias opções de armazenamento.

A migração de cargas de trabalho de um mainframe para Azure como parte do replatamento ou refatoração de aplicativos normalmente requer migração de dados em escala. mLogica LIBER*IRIS fornece uma solução comprovada para a migração de dados em massa de um mainframe para Azure. A solução opera em escala para migrar cargas de trabalho corporativas. Este artigo descreve como migrar dados de mainframe do IBM z/OS para Azure com alta fidelidade.

Arquitetura

O diagrama a seguir mostra como o mLogica LIBER*IRIS se integra a componentes Azure para migrar dados de mainframe para Azure em escala.

Diagrama que mostra a arquitetura de como o mLogica LIBER*IRIS se integra com componentes do Azure para migrar dados de 'mainframe'.

mLogica LIBER*IRIS e seus logotipos são marcas comerciais de sua empresa. Nenhum endosso está implícito pelo uso dessas marcas.

Carrege um arquivo Visio desta arquitetura.

Fluxo de dados

O fluxo de dados a seguir corresponde ao diagrama anterior:

  1. Copiar arquivos DDL (linguagem de definição de dados), arquivos DBD (descrição do banco de dados), cópias, layouts de dados e outros artefatos de descrição de dados para uma VM (máquina virtual) do Azure Linux que executa ferramentas de serviço de migração de dados mLogica. Use o FTPS (File Transfer Protocol Secure) em uma VPN (rede virtual privada) de Azure segura site a site ou Azure ExpressRoute.

  2. O cluster de migração de dados mLogica LIBER*IRIS gera scripts de extração de dados a serem executados no mainframe.

  3. Use o FTPS pela VPN para transferir os scripts de extração de dados para o mainframe. A conexão FTPS converte ASCII no formato EBCDIC do mainframe.

  4. Os scripts extraídos são executados no mainframe. Eles exportam dados de várias fontes para arquivos sequenciais, em que todos os dados decimais empacotados são descompactados. Eles geram os scripts de carga do SQL usados para carregar os dados no banco de dados de destino.

  5. O sistema transfere os arquivos sequenciais e os scripts de carga para Armazenamento de Blobs do Azure usando o Protocolo SFTP (Secure File Transfer Protocol) binário. Os dados do mainframe permanecem no formato EBCDIC nesta etapa.

  6. O serviço de migração de dados mLogica executa os scripts de carga para converter EBCDIC em ASCII. Os scripts gravam erros durante a carga para Armazenamento do Azure. Para reduzir custos, você pode usar duas contas de armazenamento. Armazene arquivos de dados em uma camada de acesso frequente e registre arquivos em uma camada de acesso fria.

  7. Os scripts carregam os dados convertidos em ASCII de arquivos sequenciais no banco de dados relacional Azure de destino. Os scripts de carga incluem comandos DDL para criar tabelas e outros objetos e consultas SQL para carregar os dados nesses objetos. Dimensione o processo de carga horizontalmente em um cluster para maximizar a taxa de transferência conforme necessário. Os logs de execução e os logs de exceção detalhados são armazenados em Armazenamento de Blobs para análise posterior.

  8. O serviço de migração de dados mLogica LIBER*IRIS executa os scripts de carga para transformar dados do formato de arquivo relacional para NoSQL formato de banco de dados. Você pode carregar esses dados NoSQL para Azure Cosmos DB usando a API do SQL Azure Cosmos DB.

Componentes

Essa solução usa os seguintes componentes.

Rede e identidade

  • Gateway de VPN do Azure é um gateway de rede virtual que envia tráfego criptografado entre uma rede virtual Azure e um local pela Internet pública. Nessa arquitetura, Gateway de VPN fornece uma alternativa ao ExpressRoute para conectividade segura entre o ambiente de mainframe e Azure.

  • ExpressRoute é um serviço de conectividade que estende redes locais para Azure por meio de um provedor de conectividade. Nessa arquitetura, o ExpressRoute fornece uma conexão privada segura para transferir arquivos de definição de dados e scripts de extração entre o mainframe e o Azure.

  • Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que pode ser sincronizado com um diretório local. Nessa arquitetura, o Microsoft Entra ID fornece autenticação e controle de acesso para o cluster de migração de dados da mLogica e os recursos do Azure.

Computação

  • Máquinas Virtuais do Azure é um serviço de computação que fornece recursos de computação escalonáveis sob demanda. Nessa arquitetura, o cluster de migração de dados mLogica é executado em Azure VMs linux otimizadas para desempenho de rede.

Bancos de dados e armazenamento

  • SQL do Azure, Banco de Dados do Azure para PostgreSQL e Banco de Dados do Azure para MySQL são serviços de PaaS (plataforma como serviço) totalmente gerenciados para SQL Server, PostgreSQL e MySQL, respectivamente. Nessa arquitetura, esses serviços fornecem opções altamente disponíveis e de alto desempenho para dados relacionais de mainframe, dados não relacionais emulados e dados do VSAM (Método de Acesso ao Armazenamento Virtual) emulados.

  • Azure Cosmos DB é um serviço de banco de dados NoSQL totalmente gerenciado que fornece baixa latência e escalabilidade elástica. Nessa arquitetura, ele migra fontes de mainframe não relacionais, como IMS (Sistema de Gerenciamento de Informações), IDMS (Sistema integrado de gerenciamento de banco de dados) e Sistema de Banco de Dados Adaptável (ADABAS).

  • Armazenamento de Blobs é um serviço de armazenamento em nuvem que fornece armazenamento altamente disponível, criptografado em repouso, econômico e de alta capacidade. Nessa arquitetura, Armazenamento de Blobs dá suporte ao tráfego SFTP binário direto do mainframe e pode montar contêineres em VMs do Linux usando o NFS 3.0 para armazenar arquivos sequenciais e carregar scripts.

Monitoramento

  • Azure Monitor é uma plataforma de monitoramento que coleta, analisa e atua na telemetria de ambientes locais e de nuvem. Nessa arquitetura, Azure Monitor monitora o cluster de migração de dados mLogica e configura alertas para gerenciamento proativo.

    • Application Insights é um recurso Azure Monitor que monitora o desempenho do aplicativo coletando e analisando a telemetria. Nessa arquitetura, o Application Insights monitora o cluster de migração de dados mLogica para obter insights de desempenho e diagnóstico.

    • Azure Monitor Logs é um recurso Azure Monitor que coleta e organiza dados de log e desempenho de recursos monitorados. Nessa arquitetura, o Azure Monitor Logs consolida dados de múltiplas fontes em um único workspace, incluindo registros de plataforma dos serviços do Azure, dados de log e desempenho de agentes de VM e dados de uso e desempenho de aplicativos.

    • Log Analytics é um recurso Azure Monitor que executa consultas de log para ajudá-lo a usar os dados coletados em logs de Azure Monitor. Nessa arquitetura, Log Analytics analisa os logs de execução de script de carga mLogica que Armazenamento de Blobs armazena. Ele usa uma linguagem de consulta para unir dados de várias tabelas, agregar grandes conjuntos de dados e executar operações complexas.

Detalhes do cenário

Este artigo descreve como você pode usar o produto mLogica para executar a migração de dados em massa de um sistema de mainframe para Azure.

Possíveis casos de uso

Esta carga de trabalho de exemplo dá suporte a dois casos de uso principais:

  • Workload replatforming or refactoring: Mover todos os dados de mainframe relacionados à carga de trabalho de um mainframe para Azure. Esses dados incluem bancos de dados, como Db2, IMS e IDMS e arquivos.

  • Archival: Desativar carga de trabalho de mainframe e manter os dados em uma solução de armazenamento de Azure de baixo custo.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Confiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você faz aos seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para confiabilidade.

Siga estas recomendações, a menos que você tenha um requisito específico que as substitua.

  • Crie todos os recursos Azure para esse cenário em uma única região para reduzir a latência de rede.

  • Divida dados em vários arquivos e envie-os para Azure em paralelo, em vez de enviar um único arquivo grande do mainframe.

  • Use Azure Monitor e Application Insights para monitorar o cluster de migração de dados mLogica. Configurar alertas para gerenciamento proativo.

Disponibilidade

Este fluxo de trabalho de exemplo descreve a migração de dados de mainframe para Azure para replatformar, refatorar ou arquivar uma carga de trabalho. Normalmente, você executa essa tarefa discreta algumas vezes durante um projeto de um mês. Esse cenário não requer alta disponibilidade, mas você pode projetar o cluster de migração de dados mLogica para fornecer alta disponibilidade.

Azure serviços de banco de dados dão suporte à redundância de zona. Você pode configurar o failover para falhas do sistema, interrupções e janelas de manutenção.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design de segurança. Para obter orientações gerais sobre como criar soluções seguras, consulte a documentação de segurança Azure.

No Azure, os serviços de banco de dados suportam várias opções de segurança.

Você pode controlar a autenticação e o controle de acesso no cluster de migração de dados mLogica usando Microsoft Entra ID. Você pode configurar Azure recursos para autenticação e autorização usando Microsoft Entra ID e RBAC (controle de acesso baseado em função).

O TLS criptografa dados em trânsito entre o cluster de migração de dados mLogica e o mainframe. Você pode armazenar certificados TLS em Azure Key Vault para segurança aprimorada. O Secure Shell (SSH) criptografa dados em trânsito do mainframe para o Armazenamento de Blobs.

Os dados do mainframe e os scripts de carga são armazenados temporariamente em Armazenamento de Blobs, em que são criptografados em repouso. Os dados são excluídos do Armazenamento de Blobs após a conclusão da migração.

Este exemplo de fluxo de trabalho usa o ExpressRoute ou site a site VPN para uma conexão privada e eficiente com Azure de seu ambiente local.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para Otimização de Custos.

  • Dimensione, pause e retome os recursos de computação usando Banco de Dados SQL do Azure sem servidor. Ele ajusta automaticamente a computação com base na atividade de carga de trabalho para que você pague apenas pelos recursos que você usa.

  • Use uma política de gerenciamento de ciclo de vida para mover dados entre as camadas de acesso em Armazenamento de Blobs do Azure.

    Mova os dados de uma camada de acesso mais quente para uma mais fria quando ninguém os acessa por um período de tempo. Você também pode mover dados de uma camada de acesso mais esporádica para uma camada de acesso aos arquivos.

  • Use Assistente do Azure para localizar recursos subutilizados. Obtenha recomendações sobre como reconfigurar ou consolidar recursos para reduzir seus gastos.

  • Use a calculadora de preços do Azure para estimar os custos dos componentes do Azure para esta solução.

Excelência Operacional

A Excelência Operacional abrange os processos de operações que implantam um aplicativo e o mantêm em execução em produção. Para obter mais informações, consulte Lista de verificação para revisão de design de Excelência Operacional.

Você pode usar Azure DevOps para reengenhar aplicativos mainframe em Azure durante todas as fases de desenvolvimento de software e colaboração em equipe. Azure DevOps fornece estes serviços:

  • Azure Boards: planejamento ágil, acompanhamento de item de trabalho, visualização e relatórios.

  • Azure Pipelines: uma plataforma de integração contínua e entrega contínua (CI/CD) independente de linguagem, plataforma e nuvem que dá suporte a contêineres ou Kubernetes.

  • Azure Repos: repositórios Git privados hospedados na nuvem.

  • Azure Artifacts: gerenciamento integrado de pacotes que dá suporte a feeds de pacotes Maven, npm, Python e NuGet de fontes públicas ou privadas.

  • Azure Test Plans: uma solução de teste planejada e exploratória integrada.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da carga de trabalho de dimensionar para atender às demandas do usuário com eficiência. Para obter mais informações, consulte Lista de verificação de design para Eficiência de Desempenho.

Use as seguintes recomendações para melhorar a eficiência de desempenho:

  • Implante o cluster de migração de dados mLogica em várias VMs se você migrar vários grandes conjuntos de dados independentes para maximizar a velocidade de carregamento de dados. Você pode carregar vários conjuntos de dados em paralelo do mainframe para Armazenamento de Blobs.

  • Considere o Banco de Dados SQL sem servidor para dimensionamento automático baseado em carga de trabalho. Você pode dimensionar outros bancos de dados Azure para cima e para baixo usando a automação para atender às suas demandas de carga de trabalho. Para saber mais, confira Dimensionamento automático.

Colaboradores

Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autor principal:

Para ver perfis de LinkedIn não públicos, entre em LinkedIn.

Próximas etapas

Examine os guias de migração de banco de dados Azure.

Para obter mais informações, entre em contato Azure Engenharia de Dados – Mainframe & Midrange modernização.