De mainframe-gegevenslaag migreren naar Azure met mLogica LIBER*IRIS

Azure Database for MySQL
Azure Database for PostgreSQL
Azure Cosmos DB
Azure SQL-database
Azure Storage

Mainframe-toepassingen genereren grote hoeveelheden transactionele gegevens. Azure is een geschikt platform voor het moderniseren van deze workloads en het migreren van hun gegevens. Azure relationele en NoSQL databases bieden schaalbaarheid, hoge beschikbaarheid en onderhoudsgemak die voldoen aan of groter zijn dan mainframe-omgevingen. Als u van plan bent een mainframeworkload buiten gebruik te stellen en de gegevens in goedkope opslag te bewaren, biedt Azure verschillende opslagopties.

Het migreren van workloads van een mainframe naar Azure als onderdeel van het opnieuw platformen of herstructureren van toepassingen vereist doorgaans gegevensmigratie op schaal. mLogica LIBER*IRIS biedt een bewezen oplossing voor bulkgegevensmigratie van een mainframe naar Azure. De oplossing functioneert op grote schaal en ondersteunt het migreren van bedrijfsworkloads. In dit artikel wordt beschreven hoe u IBM z/OS mainframe-gegevens migreert naar Azure met hoge kwaliteit.

Architectuur

In het volgende diagram ziet u hoe mLogica LIBER*IRIS kan worden geïntegreerd met Azure onderdelen om mainframegegevens te migreren naar Azure op schaal.

Diagram met de architectuur van de integratie van mLogica LIBER*IRIS met Azure onderdelen voor het migreren van mainframe data.

mLogica LIBER*IRIS en de logo's zijn handelsmerken van het bedrijf. Er wordt geen goedkeuring geïmpliceerd door het gebruik van deze markeringen.

Download een Visio-bestand van deze architectuur.

Gegevensstroom

De volgende gegevensstroom komt overeen met het vorige diagram:

  1. DDL-bestanden (Data Definition Language) kopiëren, DBD-bestanden (Database Description), copybooks, gegevensindelingen en andere artefacten voor gegevensbeschrijvingen naar een Azure virtuele Linux-machine (VM) waarop mLogica Data Migration Service-hulpprogramma's worden uitgevoerd. Gebruik File Transfer Protocol Secure (FTPS) via een beveiligd Azure site-naar-site virtueel particulier netwerk (VPN) of Azure ExpressRoute.

  2. Het mLogica LIBER*IRIS-gegevensmigratiecluster genereert scripts voor gegevensextractie die moeten worden uitgevoerd op het mainframe.

  3. Gebruik FTPS via het VPN om de scripts voor gegevensextractie over te dragen naar het mainframe. De FTPS-verbinding converteert ASCII naar de EBCDIC-indeling van het mainframe.

  4. De geëxtraheerde scripts worden uitgevoerd op het mainframe. Ze exporteren gegevens uit meerdere bronnen naar sequentiële bestanden, waarbij alle verpakte decimale gegevens worden uitgepakt. Ze genereren de SQL-laadscripts die worden gebruikt om de gegevens in de doeldatabase te laden.

  5. Het systeem draagt de sequentiële bestanden over en laadt scripts naar Azure Blob Storage met behulp van binary Secure File Transfer Protocol (SFTP). Mainframegegevens blijven in EBCDIC-indeling tijdens deze stap.

  6. De mLogica-gegevensmigratieservice voert de laadscripts uit om EBCDIC te converteren naar ASCII. De scripts schrijven fouten tijdens het laden naar Azure Storage. U kunt twee opslagaccounts gebruiken om de kosten te verlagen. Sla gegevensbestanden op een dynamische-toegangslaag en logboekbestanden op in een koude toegangslaag.

  7. De scripts laden de door ASCII geconverteerde gegevens uit sequentiële bestanden in de Azure-doelrelatiedatabase. De laadscripts bevatten DDL-opdrachten voor het maken van tabellen en andere objecten en SQL-query's om de gegevens in die objecten te laden. Schaal het laadproces horizontaal over een cluster om de doorvoer naar behoefte te maximaliseren. Uitvoeringslogboeken en gedetailleerde uitzonderingslogboeken worden opgeslagen in Blob Storage voor verdere analyse.

  8. De mLogica LIBER*IRIS-gegevensmigratieservice voert de laadscripts uit om gegevens te transformeren van relationele bestandsindeling naar NoSQL database-indeling. U kunt deze NoSQL-gegevens laden naar Azure Cosmos DB met behulp van de Azure Cosmos DB SQL-API.

Onderdelen

Deze oplossing maakt gebruik van de volgende onderdelen.

Netwerken en identiteit

  • Azure VPN Gateway is een virtuele netwerkgateway die versleuteld verkeer verzendt tussen een Azure virtueel netwerk en een on-premises locatie via het openbare internet. In deze architectuur biedt VPN Gateway een alternatief voor ExpressRoute voor beveiligde connectiviteit tussen de mainframe-omgeving en Azure.

  • ExpressRoute is een connectiviteitsservice die on-premises netwerken uitbreidt naar Azure via een connectiviteitsprovider. In deze architectuur biedt ExpressRoute een beveiligde privéverbinding voor het overdragen van gegevensbestanden en extractiescripts tussen het mainframe en Azure.

  • Microsoft Entra ID is een service voor identiteits- en toegangsbeheer die kan worden gesynchroniseerd met een on-premises directory. In deze architectuur biedt Microsoft Entra ID verificatie- en toegangsbeheer voor het mLogica-gegevensmigratiecluster en Azure resources.

Compute

  • Azure Virtual Machines is een rekenservice die schaalbare computingresources op aanvraag biedt. In deze architectuur wordt het mLogica-gegevensmigratiecluster uitgevoerd op Azure Linux-VM's die zijn geoptimaliseerd voor netwerkprestaties.

Databases en opslag

  • Azure SQL, Azure Database for PostgreSQL en Azure Database for MySQL zijn respectievelijk volledig beheerde PaaS-services (Platform as a Service) voor SQL Server, PostgreSQL en MySQL. In deze architectuur bieden deze services krachtige, maximaal beschikbare opties voor relationele mainframegegevens, geëmuleerde niet-relationele gegevens en geëmuleerde VSAM-gegevens (Virtual Storage Access Method).

  • Azure Cosmos DB is een volledig beheerde NoSQL databaseservice die lage latentie en elastische schaalbaarheid biedt. In deze architectuur worden niet-relationele mainframebronnen zoals Information Management System (IMS), Integrated Database Management System (IDMS) en Adaptable Database System (ADABAS) gemigreerd.

  • Blob Storage is een cloudopslagservice die maximaal beschikbare, versleutelde at-rest, kostenefficiënte opslag met hoge capaciteit biedt. In deze architectuur ondersteunt Blob Storage direct binair SFTP-verkeer van het mainframe en kan containers op Linux-VM's worden gekoppeld met behulp van NFS 3.0 om sequentiële bestanden op te slaan en scripts te laden.

Controleren

  • Azure Monitor is een bewakingsplatform waarmee telemetriegegevens van cloud- en on-premises omgevingen worden verzameld, geanalyseerd en uitgevoerd. In deze architectuur bewaakt Azure Monitor het mLogica-gegevensmigratiecluster en stelt u waarschuwingen in voor proactief beheer.

    • Application Insights is een Azure Monitor functie waarmee de prestaties van toepassingen worden bewaakt door telemetrie te verzamelen en te analyseren. In deze architectuur bewaakt Application Insights het mLogica-gegevensmigratiecluster voor prestatie-inzichten en diagnostische gegevens.

    • Azure Monitor Logs is een Azure Monitor functie waarmee logboek- en prestatiegegevens van bewaakte resources worden verzameld en ingedeeld. In deze architectuur voegt Azure Monitor Logs gegevens uit meerdere bronnen samen in één werkruimte, waaronder platformlogboeken van Azure services, logboek- en prestatiegegevens van VM-agents en gebruiks- en prestatiegegevens van toepassingen.

    • Log Analytics is een Azure Monitor functie waarmee logboekquery's worden uitgevoerd om u te helpen de gegevens te gebruiken die zijn verzameld in Azure Monitor Logboeken. In deze architectuur analyseert Log Analytics logboeken voor het uitvoeren van mLogica-laadscripts die Blob Storage opslaat. Er wordt een querytaal gebruikt om gegevens uit meerdere tabellen samen te voegen, grote gegevenssets samen te voegen en complexe bewerkingen uit te voeren.

Details van het scenario

In dit artikel wordt beschreven hoe u het mLogica-product kunt gebruiken om bulkgegevensmigratie van een mainframesysteem uit te voeren naar Azure.

Potentiële gebruikscases

Deze voorbeeldworkload ondersteunt twee belangrijke use cases:

  • Workload herplatforming of herstructurering: Verplaats alle mainframegegevens met betrekking tot de werkbelasting van een mainframe naar Azure. Deze gegevens omvatten databases, zoals Db2, IMS en IDMS, en bestanden.

  • Archivering: Zet de mainframe buiten gebruik en bewaar de gegevens in een voordelige Azure-opslagoplossing.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren. Zie Well-Architected Framework voor meer informatie.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Controlelijst ontwerpbeoordeling voor betrouwbaarheidvoor meer informatie.

Volg deze algemene aanbevelingen, tenzij u een specifieke vereiste hebt die deze overschrijft:

  • Maak alle Azure resources voor dit scenario in één regio om de netwerklatentie te verminderen.

  • Splits gegevens in meerdere bestanden en verzend ze parallel naar Azure, in plaats van één groot bestand te verzenden vanuit het mainframe.

  • Gebruik Azure Monitor en Application Insights om het mLogica-gegevensmigratiecluster te bewaken. Stel waarschuwingen in voor proactief beheer.

Beschikbaarheid

In deze voorbeeldwerkstroom wordt mainframe-to-Azure-gegevensmigratie beschreven voor het opnieuw platformen, herstructureren of archiveren van een workload. Normaal gesproken voert u deze discrete taak een paar keer uit gedurende een maand lang project. Voor dit scenario is geen hoge beschikbaarheid vereist, maar u kunt het mLogica-gegevensmigratiecluster ontwerpen om hoge beschikbaarheid te bieden.

Azure databaseservices ondersteunen zoneredundantie. U kunt failover instellen voor storingen en onderhoudsvensters.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie voor meer informatie controlelijst ontwerpbeoordeling voor Security. Zie de Azure beveiligingsdocumentatie voor algemene richtlijnen voor het ontwerpen van beveiligde oplossingen.

Database-diensten in Azure ondersteunen verschillende beveiligingsopties.

U kunt verificatie en toegangsbeheer beheren op het mLogica-gegevensmigratiecluster met behulp van Microsoft Entra ID. U kunt Azure resources instellen voor verificatie en autorisatie met behulp van Microsoft Entra ID en op rollen gebaseerd toegangsbeheer (RBAC).

TLS versleutelt gegevens die onderweg zijn tussen het mLogica-gegevensmigratiecluster en het mainframe. U kunt TLS-certificaten opslaan in Azure Key Vault voor verbeterde beveiliging. Secure Shell (SSH) versleutelt gegevens die onderweg zijn van het mainframe naar Blob Storage.

De mainframegegevens en laadscripts worden tijdelijk opgeslagen in Blob Storage, waar ze in rust worden versleuteld. Gegevens worden verwijderd uit Blob Storage nadat de migratie is voltooid.

Deze voorbeeldwerkstroom maakt gebruik van ExpressRoute of site-to-site VPN voor een privé- en efficiënte verbinding met Azure vanuit uw on-premises omgeving.

Kostenoptimalisatie

Kostenoptimalisatie richt zich op manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.

  • Rekenresources schalen, pauzeren en hervatten met behulp van Azure SQL Database serverless. Hiermee wordt de berekening automatisch aangepast op basis van workloadactiviteit, zodat u alleen betaalt voor de resources die u gebruikt.

  • Gebruik een levenscyclusbeheerbeleid om gegevens te verplaatsen tussen toegangslagen in Azure Blob Storage.

    Verplaats gegevens van een dynamischere toegangslaag naar een koelere laag wanneer niemand deze gedurende een bepaalde periode opent. U kunt gegevens ook verplaatsen van een koeler toegangslaag naar een archieftoegangslaag.

  • Gebruik Azure Advisor om ondergebruikte resources te zoeken. Krijg aanbevelingen voor het opnieuw configureren of consolideren van resources om uw uitgaven te verminderen.

  • Gebruik de Azure prijscalculator om Azure componentkosten voor deze oplossing te schatten.

Operationele uitmuntendheid

Operational Excellence behandelt de operationele processen die een toepassing implementeren en deze in productie houden. Zie controlelijst ontwerpbeoordeling voor Operational Excellencevoor meer informatie.

U kunt Azure DevOps gebruiken om mainframetoepassingen opnieuw te ontwerpen op Azure tijdens elke fase van softwareontwikkeling en teamsamenwerking. Azure DevOps biedt deze services:

  • Azure Boards: Agile planning, werkitemtracking, visualisatie en rapportage.

  • Azure Pipelines: een taal, platform en cloudonafhankelijk CI/CD-platform (continue integratie en continue levering) dat containers of Kubernetes ondersteunt.

  • Azure Repos: in de cloud gehoste privé-Git-opslagplaatsen.

  • Azure Artifacts: Geïntegreerd pakketbeheer dat ondersteuning biedt voor Maven-, NPM-, Python- en NuGet-pakketfeeds van openbare of privébronnen.

  • Azure Test Plans: een geïntegreerde oplossing voor gepland en verkennend testen.

Prestatie-efficiëntie

Prestatie-efficiëntie verwijst naar de mogelijkheid van uw workload om efficiënt te voldoen aan de behoeften van de gebruiker. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.

Gebruik de volgende aanbevelingen om de prestatie-efficiëntie te verbeteren:

  • Implementeer het mLogica-gegevensmigratiecluster op meerdere VM's als u meerdere grote onafhankelijke gegevenssets migreert om de laadsnelheid van gegevens te maximaliseren. U kunt meerdere gegevenssets parallel uploaden van het mainframe naar Blob Storage.

  • Overweeg serverloze SQL Database voor automatisch schalen op basis van workloads. U kunt andere Azure databases omhoog en omlaag schalen door automatisering te gebruiken om te voldoen aan uw workloadvereisten. Zie Automatisch schalen voor meer informatie.

Bijdragers

Microsoft dit artikel onderhoudt. De volgende inzenders hebben dit artikel geschreven.

Hoofdauteur:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen

Bekijk de Azure databasemigratiehandleidingen.

Neem voor meer informatie contact op met Azure Data Engineering - Mainframe & Midrange-modernisering.