Eseguire la migrazione del livello dati mainframe ad Azure con mLogica LIBER*IRIS

Database di Azure per MySQL

Database di Azure per PostgreSQL

Azure Cosmos DB

Database SQL di Microsoft Azure

Archiviazione di Azure

Il volume elevato di transazioni per le applicazioni mainframe crea un volume elevato di dati. Azure offre una destinazione interessante per la modernizzazione e la migrazione dei dati del mainframe. I database relazionali e NoSQL di Azure offrono scalabilità, disponibilità elevata e facilità di manutenzione che soddisfano o superano quello degli ambienti mainframe. Se si vuole ritirare un carico di lavoro mainframe e conservare i dati in un'archiviazione a basso costo, Azure offre opzioni.

La migrazione dei carichi di lavoro dal mainframe ad Azure come parte del replatforming o del refactoring delle applicazioni richiede in genere la migrazione dei dati su larga scala. LIBER*IRIS di mLogica offre una soluzione collaudata per la migrazione dei dati in blocco da un mainframe ad Azure. La soluzione opera su larga scala per la migrazione dei carichi di lavoro aziendali. Questo articolo illustra come eseguire la migrazione di dati mainframe IBM z/OS con alta fedeltà ad Azure.

mLogica LIBER*IRIS e i suoi logo sono marchi della sua azienda. Nessuna verifica dell'autenticità è implicita nell'uso di questi marchi.

Architettura

Il diagramma seguente illustra come mLogica LIBER*IRIS si integra con i componenti di Azure per eseguire la migrazione dei dati mainframe in Azure su larga scala.

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

I passaggi per eseguire la migrazione dei dati mainframe in Azure sono i seguenti:

Copiare file DDL (Data Definition Language), file di descrizione del database (DBD), copybook, layout di dati e altri artefatti di descrizione dei dati in una macchina virtuale Linux di Azure configurata con gli strumenti del servizio di migrazione dei dati mLogica usando FTPS su una rete privata virtuale da sito a sito (VPN) sicura o Azure ExpressRoute.
Il cluster di migrazione dei dati mLogica Liber*IRIS genera script di estrazione dati da eseguire nel mainframe.
Usare FTPS tramite VPN per trasferire gli script di estrazione dei dati nel mainframe. La connessione FTPS converte ASCII nel formato EBCDIC del mainframe.
Gli script estratti vengono eseguiti nel mainframe. Esportano dati da più origini in file sequenziali, in cui tutti i dati decimali compressi vengono decompressi. Generano gli script di caricamento SQL usati per caricare i dati nel database di destinazione.
I file sequenziali e gli script di caricamento vengono trasferiti tramite SFTP binario per Archiviazione BLOB di Azure. I dati del mainframe sono ancora in formato EBCDIC a questo punto.
Il servizio di migrazione dei dati mLogica esegue gli script di caricamento per convertire EBCDIC in ASCII. Gli script scrivono errori durante il caricamento in Archiviazione di Azure. Per ridurre i costi, è possibile usare due account di archiviazione: archiviare i file di dati in un livello di accesso frequente e i file di log in un livello di accesso sporadico.
Gli script caricano i dati convertiti ASCII da file sequenziali nel database relazionale di Azure di destinazione. Gli script di caricamento includono comandi DDL per creare tabelle e altri oggetti e query SQL per caricare i dati in tali oggetti. Ridimensionare il processo di caricamento orizzontalmente in un cluster per ottimizzare la velocità effettiva, in base alle esigenze. I log di esecuzione e i log delle eccezioni dettagliati vengono archiviati in Archiviazione BLOB di Azure per ulteriori analisi.
Il servizio di migrazione dei dati mLogica Liber*IRIS esegue gli script di caricamento per trasformare i dati dal formato di file relazionale al formato di database NoSQL. È possibile caricare questi dati NoSQL in Azure Cosmos DB usando l'API SQL di Azure Cosmos DB.

Componenti

Questa soluzione usa i componenti seguenti.

Rete e identità

Il gateway VPN di Azure è un gateway di rete virtuale usato per inviare traffico crittografato tra una rete virtuale di Azure e una posizione locale tramite la rete Internet pubblica. In questa architettura il gateway VPN offre un'alternativa a ExpressRoute per la connettività sicura tra l'ambiente mainframe e Azure.
ExpressRoute è un servizio di connettività che consente di estendere le reti locali in Azure tramite una connessione privata usando un provider di connettività. In questa architettura ExpressRoute offre una connessione privata sicura per il trasferimento di file di definizione dei dati e script di estrazione tra il mainframe e Azure.
Microsoft Entra ID è un servizio di gestione delle identità e degli accessi che può essere sincronizzato con una directory locale. In questa architettura, Microsoft Entra ID fornisce l'autenticazione e il controllo di accesso per il cluster di migrazione dei dati mLogica e le risorse di Azure.

Compute

Macchine virtuali di Azure è un servizio di calcolo che fornisce risorse di calcolo su richiesta e scalabili. In questa architettura il cluster di migrazione dei dati mLogica viene eseguito in macchine virtuali Linux di Azure ottimizzate per le prestazioni di rete.

Database e archiviazione

Azure SQL, Database di Azure per PostgreSQL e Database di Azure per MySQL sono rispettivamente servizi PaaS (Platform as a Service) completamente gestiti per SQL Server, PostgreSQL e MySQL. In questa architettura forniscono opzioni a prestazioni elevate e a disponibilità elevata per i dati relazionali mainframe, dati non relazionali emulati e dati emulati del metodo di accesso alle risorse di archiviazione virtuale (VSAM).
Azure Cosmos DB è un servizio di database NoSQL completamente gestito che offre bassa latenza e scalabilità elastica. In questa architettura viene usata per eseguire la migrazione di origini mainframe non relazionali come INFORMATION Management System (IMS), Integrated Database Management System (IDMS) e ADABAS (Adaptable Database System).
Archiviazione BLOB è un servizio di archiviazione cloud che offre una funzionalità di archiviazione a disponibilità elevata, crittografata inattiva, conveniente e ad alta capacità. In questa architettura l'archiviazione BLOB consente il traffico SFTP binario diretto dal mainframe e può montare contenitori in macchine virtuali Linux usando NFS 3.0 per l'archiviazione di file sequenziali e script di caricamento.

Monitoraggio

Monitoraggio di Azure è un servizio di monitoraggio completo che offre una soluzione per la raccolta, l'analisi e l'azione sui dati di telemetria da ambienti cloud e locali. In questa architettura, Monitoraggio di Azure viene usato per monitorare il cluster di migrazione dei dati mLogica e configurare gli avvisi per la gestione proattiva.
- Application Insights è una funzionalità di Monitoraggio di Azure che fornisce il monitoraggio delle prestazioni dell'applicazione raccogliendo e analizzando i dati di telemetria dell'applicazione. In questa architettura Application Insights monitora il cluster di migrazione dei dati mLogica per informazioni dettagliate sulle prestazioni e diagnostica.
- Log di Monitoraggio di Azure è una funzionalità di Monitoraggio di Azure che raccoglie e organizza i dati di log e prestazioni dalle risorse monitorate. In questa architettura, i log di Monitoraggio di Azure consolidano i dati da più origini in un'unica area di lavoro, inclusi i log della piattaforma dai servizi di Azure, i dati di log e prestazioni degli agenti delle macchine virtuali e i dati sull'utilizzo e sulle prestazioni delle applicazioni.
- Log Analytics è una funzionalità di Monitoraggio di Azure che consente alle query di log di usare i dati raccolti nei log di Monitoraggio di Azure. In questa architettura Log Analytics consente di analizzare i log di esecuzione degli script di caricamento di mLogica archiviati nell'archiviazione BLOB. Usa un linguaggio di query avanzato per unire dati da più tabelle, aggregare grandi set di dati ed eseguire operazioni complesse.

Potenziali casi d'uso

Esistono due casi d'uso chiave per questo carico di lavoro di esempio:

Replatforming o refactoring del carico di lavoro

Spostare tutti i dati mainframe correlati al carico di lavoro da un mainframe ad Azure. Questi dati includono database, ad esempio Db2, IMS e IDMS e file.
Archiviazione

Ritirare il carico di lavoro del mainframe e conservare i dati in una soluzione di archiviazione di Azure a basso costo.

Consigli

Seguire queste raccomandazioni generali, a meno che non si disponga di un requisito specifico che ne esegue l'override:

Per ridurre la latenza di rete, creare tutte le risorse di Azure indicate in questo scenario in un'area.
Anziché inviare un singolo file di grandi dimensioni dal mainframe ad Azure, suddividere i dati in più file e inviarli in parallelo.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni che l'utente ha preso con i clienti. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'affidabilità.

Resilienza

Usare Monitoraggio di Azure e Application Insights per monitorare il cluster di migrazione dei dati mLogica. Configurare gli avvisi per la gestione proattiva.

Per altre informazioni sulla resilienza in Azure, vedere Progettazione di applicazioni Azure affidabili.

Disponibilità

Questo flusso di lavoro di esempio descrive la migrazione dei dati da mainframe ad Azure per riformulare, effettuare il refactoring o archiviare un carico di lavoro. Questa attività è discreta, eseguita alcune volte durante un progetto a lungo mese. Anche se la disponibilità elevata non è necessaria in questo scenario, è possibile progettare il cluster di migrazione dei dati mLogica per offrire disponibilità elevata.

I servizi di database di Azure supportano la ridondanza della zona. È possibile configurarli per il failover in caso di interruzione o durante una finestra di manutenzione.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per Security. Per indicazioni generali sulla progettazione di soluzioni sicure, vedere la documentazione sulla sicurezza di Azure.

Servizi di database in supporto tecnico di Azure diverse opzioni di sicurezza:

Crittografia dei dati inattivi con Transparent Data Encryption
Crittografia dei dati in transito con TLS
Crittografia dei dati durante l'elaborazione con Always Encrypted con enclave sicuri

È possibile controllare l'autenticazione e il controllo di accesso nel cluster di migrazione dei dati mLogica usando Microsoft Entra ID. È possibile configurare le risorse di Azure per l'autenticazione e l'autorizzazione usando Microsoft Entra ID e il controllo degli accessi in base al ruolo.

I dati trasferiti tra il cluster di migrazione dei dati mLogica e il mainframe vengono crittografati in transito tramite TLS. I certificati TLS possono essere archiviati in Azure Key Vault per una maggiore sicurezza. I dati trasferiti dal mainframe a Archiviazione BLOB di Azure vengono crittografati in transito tramite SSH.

I dati del mainframe e gli script di caricamento vengono archiviati temporaneamente in Archiviazione BLOB di Azure. Sono crittografati inattivi. I dati vengono eliminati da Archiviazione BLOB di Azure dopo il completamento della migrazione.

Questo flusso di lavoro di esempio usa Azure ExpressRoute o VPN da sito a sito per una connessione privata ed efficiente ad Azure dall'ambiente locale.

Ottimizzazione costi

L'ottimizzazione dei costi consiste nell'esaminare i modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

Ecco alcune possibilità di ottimizzazione dei costi:

database SQL di Azure serverless ridimensiona, sospende e riprende automaticamente le risorse di calcolo in base all'attività del carico di lavoro, in modo da pagare solo le risorse utilizzate.
Usare i criteri relativi al ciclo di vita per spostare i dati tra livelli di accesso nell'archiviazione di Azure.
In Archiviazione di Azure, se non è disponibile alcun accesso per un periodo di tempo, spostare i dati da un livello di accesso più frequente a uno più sporadico. È anche possibile spostare i dati da un livello di accesso più sporadico a un livello di accesso archivio.
Usare Azure Advisor per trovare risorse sottoutilizzate. Ottenere consigli su come riconfigurare o consolidare le risorse per ridurre la spesa.

Usare il calcolatore prezzi di Azure per stimare il costo dell'uso dei componenti di Azure per questa soluzione.

Eccellenza operativa

L'eccellenza operativa copre i processi operativi che distribuiscono un'applicazione e lo mantengono in esecuzione nell'ambiente di produzione. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'eccellenza operativa.

Azure DevOps può essere usato per ricompilazione delle applicazioni mainframe in Azure durante ogni fase di sviluppo software e collaborazione in team. Azure DevOps offre questi servizi:

Schede Azure. Pianificazione agile, rilevamento degli elementi di lavoro, visualizzazione e creazione di report.
Azure Pipelines. Un linguaggio, una piattaforma e una piattaforma di integrazione continua/recapito continuo indipendente dal cloud (CI/CD) con supporto per contenitori o Kubernetes.
Azure Repos. Repository Git privati ospitati nel cloud.
Artefatti di Azure. Gestione integrata dei pacchetti con supporto per i feed di pacchetti Maven, npm, Python e NuGet da origini pubbliche o private.
Piani di test di Azure. Soluzione di test pianificata ed esplorativa integrata.

Efficienza delle prestazioni

L'efficienza delle prestazioni è la capacità del carico di lavoro di ridimensionarsi per soddisfare le esigenze poste dagli utenti in modo efficiente. Per altre informazioni, vedere Elenco di controllo per l'efficienza delle prestazioni.

Se si esegue la migrazione di più set di dati indipendenti di grandi dimensioni, distribuire il cluster di migrazione dei dati mLogica in più macchine virtuali per ottimizzare la velocità di caricamento dei dati.

È possibile caricare più set di dati in parallelo dal mainframe all'archiviazione BLOB.

Il serverless del database SQL di Azure offre un'opzione per la scalabilità automatica in base al carico di lavoro. È possibile aumentare e ridurre le prestazioni di altri database di Azure usando l'automazione per soddisfare le esigenze del carico di lavoro. Per altre informazioni, vedere Scalabilità automatica.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

Sandip Kndelwal | Senior Engineering Architect

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

Vedere le Guide alla migrazione di database di Azure.

Per altre informazioni, contattare Azure Ingegneria dei dati - Mainframe & Midrange Modernizzazione.

Commenti e suggerimenti

Questa pagina è stata utile?