Condividi tramite

Replicare i dati del mainframe utilizzando Precisely Connect

Database SQL di Microsoft Azure
Istanza gestita di SQL di Azure
Azure Synapse Analytics
Azure Databricks
Hub eventi di Azure

Questo articolo descrive come usare Precisely Connect per eseguire la migrazione di sistemi mainframe e midrange su Azure. Precisely Connect offre la replica dei dati in tempo reale da sistemi legacy ad Azure utilizzando la tecnologia Change Data Capture (CDC).

Questa soluzione offre la coerenza dei dati tra gli ambienti mainframe locali e Azure riducendo al minimo l'effetto sulle prestazioni del sistema di origine. L'architettura supporta varie origini dati mainframe e midrange e replica i dati verso destinazioni di Azure come il database SQL di Azure, Event Hubs di Azure e Microsoft Fabric.

Apache®, Spark e il logo con la fiamma sono marchi o marchi registrati di Apache Software Foundation negli Stati Uniti e/o in altri Paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Architettura

Diagramma che mostra un'architettura per la migrazione di sistemi mainframe e midrange ad Azure.

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

Il flusso di lavoro seguente corrisponde al diagramma precedente:

  1. Un componente agente di Connect acquisisce i log delle modifiche utilizzando le utilità native del mainframe o del midrange e memorizza questi log nella cache dell'archiviazione temporanea.

  2. Per i sistemi mainframe, un componente di pubblicazione nel mainframe gestisce la migrazione dei dati.

  3. Per i sistemi midrange, un componente listener gestisce la migrazione dei dati anziché un server di pubblicazione. Il listener risiede in un computer Windows o Linux.

  4. Il server di pubblicazione o il listener sposta i dati dall'ambiente locale ad Azure tramite una connessione di sicurezza avanzata. Il publisher o il listener gestisce il commit e il rollback delle transazioni per ciascuna unità di lavoro, mantenendo l'integrità dei dati.

  5. Il motore connect Replicator acquisisce i dati dal server di pubblicazione o dal listener e lo applica alla destinazione. Distribuisce i dati per l'elaborazione parallela.

  6. Event Hubs ingerisce modifiche ai dati in tempo reale da Precisely Connect per l'elaborazione immediata.

  7. Azure Databricks o Fabric (Apache Spark) elaborano i dati inseriti, che vengono poi archiviati in destinazioni di Azure o in un lakehouse o un magazzino dati di Fabric per l'analisi a valle e la business intelligence (BI).

  8. Il daemon del controller Connect autentica la richiesta e stabilisce la connessione socket tra il server di pubblicazione o il listener e il motore di Replicator.

Componenti

Questa architettura usa i componenti seguenti.

Rete e identità

  • Azure ExpressRoute è un servizio di connettività che estende le reti locali alla piattaforma cloud di Azure tramite una connessione privata da un provider di connettività. In questa architettura ExpressRoute offre una connessione sicura e a larghezza di banda elevata per la replica dei dati mainframe in Azure.

  • Gateway VPN di Azure è un servizio gateway di rete virtuale che consente di creare gateway di rete virtuale che inviano traffico crittografato tra una rete virtuale di Azure e una posizione locale tramite Internet pubblico. In questa architettura è possibile usare il gateway VPN come alternativa a ExpressRoute per connettere i sistemi mainframe ad Azure quando non è disponibile una connessione privata.

  • Microsoft Entra ID è un servizio di gestione delle identità e degli accessi che può essere sincronizzato con Active Directory locale. In questa architettura, Microsoft Entra ID gestisce l'autenticazione e il controllo di accesso per i componenti Precisely Connect che accedono alle risorse di Azure.

Immagazzinamento

  • Database di Azure per MySQL è un servizio di database relazionale gestito basato sull'edizione community del motore di database MySQL open source. In questa architettura, il database di Azure per MySQL offre un'opzione di destinazione per i dati mainframe replicati.

  • Database di Azure per PostgreSQL è un servizio di database relazionale gestito basato sull'edizione community del motore di database PostgreSQL open source. In questa architettura, il database Azure per PostgreSQL può fungere da database di destinazione alternativo per la replica dei dati mainframe.

  • Il database SQL di Azure è un motore di database PaaS (Platform as a Service) che fa parte della famiglia SQL di Azure. È progettato per il cloud e offre tutti i vantaggi di un PaaS gestito e sempreverdi. Database SQL offre anche funzionalità automatizzate basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione Hyperscale ridimensionano automaticamente le risorse su richiesta. In questa architettura il database SQL funge da database di destinazione per la ricezione di dati mainframe replicati tramite connessioni ODBC (Open Database Connectivity) o native database.

  • Azure SQL Managed Instance è un servizio di database cloud che offre tutti i vantaggi di un PaaS gestito e continuamente aggiornato. Istanza gestita SQL ha una compatibilità quasi completa con il motore di database dell'ultima versione di SQL Server Enterprise Edition. Fornisce anche un'implementazione di rete virtuale nativa che risolve i problemi di sicurezza più comuni. In questa architettura, Istanza gestita di SQL può fungere da destinazione per i dati mainframe che richiedono la compatibilità di SQL Server.

  • Azure Storage è una soluzione di archiviazione cloud che include oggetti, file, dischi, code e archiviazione di tabelle. I servizi includono soluzioni di archiviazione ibride e strumenti per il trasferimento, la condivisione e il backup dei dati. In questa architettura, il servizio di archiviazione offre uno spazio di archiviazione scalabile per i dati mainframe replicati e il caching temporaneo.

  • OneLake è il data lake unificato e singolo per Fabric. In questa architettura, OneLake funge da risorsa di archiviazione per l'inserimento di dati da Event Hubs.

  • Fabric è una piattaforma di analisi che unifica lo spostamento dei dati, l'elaborazione dei dati, l'inserimento, la trasformazione, il routing degli eventi in tempo reale e la compilazione di report. In questa architettura, Fabric (lakehouse, warehouse o database SQL all'interno di Fabric) funge da destinazione di archiviazione relazionale per l'analisi e il livello BI.

Analisi e creazione di report

  • Power BI è un gruppo di strumenti di analisi aziendale che possono fornire informazioni dettagliate in tutta l'organizzazione. Power BI può connettersi a centinaia di origini dati, semplificare la preparazione dei dati e guidare l'analisi non pianificata. In questa architettura, il Power BI offre funzionalità BI per analizzare i dati mainframe replicati. Power BI è integrato in modo nativo con Fabric per l'analisi unificata.

Monitoraggio

  • Monitoraggio di Azure è un servizio di monitoraggio che offre una soluzione per la raccolta, l'analisi e l'esecuzione dei dati di telemetria dagli ambienti cloud e locali. Le funzionalità includono Application Insights, log di Monitoraggio di Azure e Log Analytics. In questa architettura, Azure Monitor offre monitoraggio e osservabilità per il processo di replica dei dati e le risorse di Azure.

Integrazione dei dati

  • Azure Databricks è una piattaforma di analisi unificata basata su Spark che si integra con librerie open source. Offre un'area di lavoro collaborativa per l'esecuzione di carichi di lavoro di analisi. È possibile usare linguaggi Python, Scala, R e SQL per compilare pipeline di estrazione, trasformazione, caricamento (ETL) e processi di orchestrazione. In questa architettura Azure Databricks elabora e trasforma i dati mainframe replicati per l'utilizzo da parte dei servizi della piattaforma dati di Azure.

  • Fabric è una piattaforma di analisi basata su intelligenza artificiale end-to-end che opera su una piattaforma di calcolo Spark gestita. In questa architettura, Fabric Spark elabora e trasforma i dati mainframe replicati per renderli pronti per l'uso da parte della piattaforma dati a valle di Azure e dei servizi Fabric.

  • Hub eventi è un servizio di inserimento dati in tempo reale che può elaborare milioni di eventi al secondo. È possibile inserire dati da più origini e usarli per l'analisi in tempo reale. È possibile ridimensionare Hub eventi in base al volume di dati. In questa architettura, Event Hubs acquisisce modifiche dei dati in tempo reale da Precisely Connect per l'elaborazione e l'analisi immediate.

  • Precisely Connect è una piattaforma di integrazione dei dati in grado di integrare dati da più fonti e fornire la replica in tempo reale su Azure. È possibile usarlo per replicare i dati senza apportare modifiche all'applicazione. Precisely Connect può anche migliorare le prestazioni dei processi ETL. In questa architettura, Precisely Connect funge da motore di replica dati primario che acquisisce e migra i dati del mainframe in Azure in tempo reale.

Dettagli dello scenario

È possibile usare varie strategie per eseguire la migrazione di sistemi mainframe e midrange in Azure. La migrazione dei dati svolge un ruolo chiave in questo processo. In un'architettura cloud ibrida è necessario replicare i dati tra sistemi mainframe o midrange e la piattaforma dati di Azure. Per mantenere l'integrità dei dati, è necessaria la replica in tempo reale per le applicazioni business critical. Precisely Connect può aiutarti a replicare i dati da origini dati mainframe e midrange sulla piattaforma dati di Azure in tempo reale utilizzando CDC o l'ingestione batch.

Precisely Connect supporta varie origini dati mainframe e midrange, incluse le seguenti origini:

  • Db2 z/OS
  • Db2 per Linux, UNIX e Windows (LUW)
  • Db2 per i
  • IBM Information Management System (IMS)
  • Metodo di accesso alle risorse di archiviazione virtuale IBM (VSAM)
  • File e copioni

Connect converte con precisione i dati in un formato consumabile che Event Hubs acquisisce per l'elaborazione immediata. Azure Databricks o Fabric elabora i dati inseriti per l'utilizzo downstream e l'archiviazione nelle destinazioni di Azure. Queste destinazioni includono database SQL, Database di Azure per PostgreSQL, Database di Azure per MySQL, Azure Data Lake Storage e lakehouse o warehouse di Fabric. Precisely Connect supporta anche la scalabilità in base al volume di dati e ai requisiti dei clienti. Replica i dati senza influire sulle prestazioni o sovraccaricare la rete.

Potenziali casi d'uso

  • Replica dei dati da origini dati mainframe e midrange alla piattaforma dati di Azure

  • In un'architettura cloud ibrida, la sincronizzazione dei dati tra sistemi mainframe o midrange e la piattaforma dati di Azure

  • Analisi quasi in tempo reale in Azure, in base ai dati operativi dei sistemi mainframe o midrange

  • Migrazione dei dati da sistemi mainframe o midrange ad Azure senza influire sulle applicazioni

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Well-Architected Framework.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni assunti dai clienti. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'affidabilità.

Usare Azure Monitor e Application Insights per monitorare la migrazione dei dati. Configurare gli avvisi per la gestione proattiva.

Ottimizzazione costi

L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

  • La replica dei dati in Azure e l'elaborazione nei servizi di Azure può risparmiare denaro rispetto alla gestione dei dati in un sistema mainframe.

  • Lo strumento di gestione dei costi nel portale di Azure offre una visualizzazione di analisi dei costi che consente di analizzare la spesa.

  • È possibile usare Azure Databricks per ridimensionare il cluster tramite scalabilità automatica per ottimizzare i costi. Questo approccio può risparmiare denaro rispetto a una configurazione fissa.

  • Azure Advisor offre raccomandazioni per ottimizzare le prestazioni e la gestione dei costi.

Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.

Efficienza delle prestazioni

L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per ulteriori informazioni, vedere Checklist per la revisione del design sull'efficienza delle prestazioni.

  • Precisely Connect può scalare in base al volume dei dati e ottimizzare la replicazione dei dati.

  • Il motore connect replicator può distribuire i dati per l'elaborazione parallela. È possibile bilanciare la distribuzione in base all'inserimento di carichi di lavoro.

  • Un Serverless SQL Database può scalare automaticamente in relazione al volume dei carichi di lavoro.

  • Gli Event Hubs possono essere scalati in base alle unità di throughput e al numero di partizioni.

Per altre informazioni, vedere Procedure consigliate per la scalabilità automatica in Azure.

Collaboratori

Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.

Autore principale:

Altro collaboratore:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi