Freigeben über

Migrieren der Mainframedatenschicht zu Azure mit mLogica LIBER*IRIS

Azure Database for MySQL
Azure-Datenbank für PostgreSQL
Azure Cosmos DB
Azure SQL-Datenbank
Azure Storage

Durch die Vielzahl von Transaktionen für Mainframeanwendungen entsteht ein großes Datenvolumen. Azure bietet ein überzeugendes Ziel für Mainframemodernisierung und Datenmigration. Relationale Azure- und NoSQL-Datenbanken bieten Skalierbarkeit, Hochverfügbarkeit und Wartungsfreundlichkeit, die den Eigenschaften von Mainframeumgebungen entsprechen oder diese übertreffen. Wenn Sie eine Mainframe-Workload stilllegen und die Daten in einem kostengünstigen Speicher aufbewahren möchten, bietet Azure verschiedene Möglichkeiten.

Die Migration von Workloads von einer Mainframe zu Azure im Rahmen der Verlagerung von Anwendungen auf eine andere Plattform oder der Umgestaltung von Anwendungen erfordert in der Regel eine Datenmigration im großen Stil. LIBER*IRIS von mLogica stellt eine bewährte Lösung für die Massenmigration von Daten von einer Mainframe zu Azure bereit. Die Lösung ermöglicht eine Migration von Unternehmensworkloads im großen Stil. In diesem Artikel erfahren Sie, wie Sie IBM z/OS-Mainframedaten mit hoher Originaltreue zu Azure migrieren.

mLogica LIBER*IRIS und seine Logos sind Marken des Unternehmens. Die Verwendung dieser Marken impliziert keine Empfehlung.

Aufbau

Das folgende Diagramm veranschaulicht, wie mLogica LIBER*IRIS in Azure-Komponenten integriert wird, um Mainframedaten im großen Stil zu Azure zu migrieren.

Architekturdiagramm: Architektur der Integration von mLogica LIBER*IRIS in Azure-Komponenten zum Migrieren von Mainframedaten

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

Die Migration von Mainframedaten zu Azure umfasst folgende Schritte:

  1. Kopieren Sie die DDL-Dateien (Data Definition Language), Datenbankbeschreibungsdateien (DBD), Copybooks, Datenlayouts und andere Datenbeschreibungsartefakte auf einen virtuellen Azure Linux-Computer, der mit den Tools des mLogica-Datenmigrationsdiensts konfiguriert ist. Verwenden Sie dazu FTPS über ein sicheres Azure-Site-to-Site-VPN oder Azure ExpressRoute.
  2. Der Datenmigrationscluster von mLogica Liber*IRIS generiert Datenextraktionsskripts, die auf dem Mainframe ausgeführt werden.
  3. Verwenden Sie FTPS über das VPN, um die Datenextraktionsskripts zum Mainframe zu übertragen. Die FTPS-Verbindung konvertiert ASCII in das EBCDIC-Mainframeformat.
  4. Die extrahierten Skripts werden auf dem Mainframe ausgeführt. Sie exportieren Daten aus mehreren Quellen in sequenzielle Dateien, in denen alle gepackten Dezimaldaten entpackt werden. Sie generieren die SQL-Ladeskripts, die zum Laden der Daten in die Zieldatenbank verwendet werden.
  5. Die sequenziellen Dateien und Ladeskripts werden über binäres SFTP in Azure Blob Storage übertragen. Die Mainframedaten befinden sich zu diesem Zeitpunkt noch im EBCDIC-Format.
  6. Der mLogica-Datenmigrationsdienst führt die Ladeskripts aus, um EBCDIC in ASCII zu konvertieren. Die Skripte protokollieren Fehler beim Laden in Azure Storage. Um Kosten zu senken, können Sie zwei Speicherkonten verwenden: Speichern Sie Datendateien auf einer heißen Speicherebene und Protokolldateien auf einer kalten Speicherebene.
  7. Die Skripts laden die konvertierten ASCII-Daten aus sequenziellen Dateien in die relationale Azure-Zieldatenbank. Die Ladeskripts enthalten DDL-Befehle zum Erstellen von Tabellen und anderen Objekten sowie SQL-Abfragen zum Laden der Daten in diese Objekte. Skalieren Sie den Ladeprozess bei Bedarf horizontal über einen Cluster, um den Durchsatz zu maximieren. Ausführungsprotokolle und detaillierte Ausnahmeprotokolle werden zur weiteren Analyse in Azure Blob Storage gespeichert.
  8. Der mLogica Liber*IRIS-Datenmigrationsdienst führt die Ladeskripts aus, um Daten aus dem relationalen Dateiformat in das NoSQL-Datenbankformat zu transformieren. Sie können diese NoSQL-Daten mithilfe der Azure Cosmos DB-SQL-API in Azure Cosmos DB laden.

Komponenten

Diese Lösung verwendet die folgenden Komponenten.

Netzwerk und Identität

  • Das Azure VPN-Gateway ist ein virtuelles Netzwerkgateway, das verwendet wird, um verschlüsselten Datenverkehr zwischen einem virtuellen Azure-Netzwerk und einem lokalen Standort über das öffentliche Internet zu senden. In dieser Architektur bietet VPN-Gateway eine Alternative zu ExpressRoute zur sicheren Konnektivität zwischen der Mainframeumgebung und Azure.

  • ExpressRoute ist ein Konnektivitätsdienst, mit dem Sie Ihre lokalen Netzwerke über eine private Verbindung mithilfe eines Verbindungsanbieters in Azure erweitern können. In dieser Architektur bietet ExpressRoute eine sichere, private Verbindung zum Übertragen von Datendefinitionsdateien und Extraktionsskripts zwischen dem Mainframe und Azure.

  • Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, der mit einem lokalen Verzeichnis synchronisiert werden kann. In dieser Architektur bietet Microsoft Entra ID die Authentifizierung und Zugriffssteuerung für den mLogica-Datenmigrationscluster und Azure-Ressourcen.

Compute

  • Azure Virtual Machines ist ein Computedienst, der on-demand, skalierbare Computerressourcen bereitstellt. In dieser Architektur wird der mLogica-Datenmigrationscluster auf virtuellen Azure Linux-Computern ausgeführt, die für die Netzwerkleistung optimiert sind.

Datenbanken und Speicher

  • Azure SQL, Azure Database for PostgreSQL und Azure Database for MySQL sind vollständig verwaltete Plattform als Dienstdienste (PaaS) für SQL Server, PostgreSQL und MySQL. In dieser Architektur bieten sie leistungsstarke, hoch verfügbare Optionen für relationale Großrechnerdaten, emulierte nichtrelationale Daten und emulierte VSAM-Daten (Virtual Storage Access Method).

  • Azure Cosmos DB ist ein vollständig verwalteter NoSQL-Datenbankdienst, der niedrige Latenz und flexible Skalierbarkeit bietet. In dieser Architektur wird es verwendet, um nichtrelationale Großrechnerquellen wie Information Management System (IMS), Integrated Database Management System (IDMS) und adaptierbares Datenbanksystem (ADABAS) zu migrieren.

  • Blob Storage ist ein Cloudspeicherdienst, der eine hochverfügbare, verschlüsselt im Ruhezustand befindliche, kostengünstige Speichereinrichtung mit hoher Kapazität bereitstellt. In dieser Architektur ermöglicht Blob Storage direkten binären SFTP-Datenverkehr vom Mainframe und kann Container auf virtuellen Linux-Computern mithilfe von NFS 3.0 zum Speichern sequenzieller Dateien und Laden von Skripts bereitstellen.

Überwachung

  • Azure Monitor ist ein umfassender Überwachungsdienst, der eine Lösung zum Sammeln, Analysieren und Handeln von Telemetrie aus Cloud- und lokalen Umgebungen bereitstellt. In dieser Architektur wird Azure Monitor verwendet, um den mLogica-Datenmigrationscluster zu überwachen und Warnungen für die proaktive Verwaltung einzurichten.

    • Application Insights ist ein Feature von Azure Monitor, das anwendungsleistungsüberwachung durch Sammeln und Analysieren von Anwendungstelemetrie bietet. In dieser Architektur überwacht Application Insights den mLogica-Datenmigrationscluster auf Leistungseinblicke und Diagnosen.

    • Azure Monitor-Protokolle ist eine Funktion von Azure Monitor, mit dem Protokoll- und Leistungsdaten von überwachten Ressourcen gesammelt und organisiert werden. In dieser Architektur konsolidiert Azure Monitor Logs Daten aus mehreren Quellen in einem einzigen Arbeitsbereich, einschließlich Plattformprotokollen von Azure-Diensten, Protokoll- und Leistungsdaten von Agents virtueller Computer sowie Nutzungs- und Leistungsdaten aus Anwendungen.

    • Log Analytics ist ein Feature von Azure Monitor, das Protokollabfragen ermöglicht, die Ihnen bei der Verwendung der in Azure Monitor-Protokollen gesammelten Daten helfen. In dieser Architektur hilft Log Analytics bei der Analyse von mLogica-Ladeskriptausführungsprotokollen, die in Blob Storage gespeichert sind. Es verwendet eine leistungsstarke Abfragesprache, um Daten aus mehreren Tabellen zu verknüpfen, große Datenmengen zu aggregieren und komplexe Vorgänge auszuführen.

Mögliche Anwendungsfälle

Es gibt zwei wichtige Anwendungsfälle für diese exemplarische Workload:

  • Workload-Replattformierung oder Refaktorisierung

    Verschieben aller Mainframedaten im Zusammenhang mit der Workload von einem Mainframe nach Azure. Diese Daten umfassen Datenbanken wie DB2, IMS und IDMS sowie Dateien.

  • Archivierung

    Stilllegen der Mainframe-Workload und Speichern der Daten in einer kostengünstigen Speicherlösung in Azure.

Empfehlungen

Sofern Sie keine besonderen Anforderungen haben, die Vorrang haben, sollten Sie die folgenden allgemeinen Empfehlungen befolgen:

  • Erstellen Sie alle in diesem Szenario erwähnten Azure-Ressourcen in einer Region, um die Netzwerklatenz zu reduzieren.
  • Teilen Sie Daten in mehrere Dateien auf, und senden Sie sie parallel, anstatt eine einzelne große Datei vom Mainframe an Azure zu senden.

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit stellt sicher, dass Ihre Anwendung Ihre Verpflichtungen gegenüber den Kunden erfüllen kann. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für Zuverlässigkeit.

Resilienz

Verwenden Sie Azure Monitor und Application Insights, um den mLogica-Datenmigrationscluster zu überwachen. Richten Sie Warnungen für die proaktive Verwaltung ein.

Weitere Informationen zur Resilienz in Azure finden Sie unter Entwerfen zuverlässiger Azure-Anwendungen.

Verfügbarkeit

Dieser exemplarische Workflow beschreibt die Migration von Mainframedaten zu Azure-Daten, um eine Workload auf eine andere Plattform zu verlagern, umzugestalten oder zu archivieren. Diese Aufgabe ist diskret und wird während eines einmonatigen Projekts mehrmals ausgeführt. Obwohl in diesem Szenario keine Hochverfügbarkeit erforderlich ist, können Sie den mLogica-Datenmigrationscluster so auslegen, dass er Hochverfügbarkeit bietet.

Azure-Datenbankdienste unterstützen Zonenredundanz. Sie können Sie so konfigurieren, dass bei einem Ausfall oder während eines Wartungsfensters ein Failover erfolgt.

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Prüfliste für die Sicherheits-Entwurfsüberprüfung. Allgemeine Informationen zum Entwerfen sicherer Lösungen finden Sie in der Dokumentation zur Azure-Sicherheit.

Datenbankdienste in Azure unterstützen verschiedene Sicherheitsoptionen:

Sie können die Authentifizierung und Zugriffssteuerung im mLogica-Datenmigrationscluster mithilfe von Microsoft Entra ID steuern. Sie können Azure-Ressourcen für die Authentifizierung und Autorisierung mithilfe von Microsoft Entra ID und rollenbasierter Zugriffssteuerung konfigurieren.

Daten, die zwischen dem mLogica-Datenmigrationscluster und dem Mainframe übertragen werden, werden bei der Übertragung mit TLS verschlüsselt. TLS-Zertifikate können in Azure Key Vault gespeichert werden, um die Sicherheit zu erhöhen. Daten, die vom Mainframe an Azure Blob Storage übertragen werden, werden bei der Übertragung mit SSH verschlüsselt.

Die Mainframedaten und Ladeskripts werden vorübergehend in Azure Blob Storage gespeichert. Sie werden im Ruhezustand verschlüsselt. Die Daten werden nach Abschluss der Migration aus Azure Blob Storage gelöscht.

In diesem exemplarischen Workflow wird Azure ExpressRoute oder ein Site-to-Site-VPN für eine private und effiziente Verbindung von der lokalen Umgebung zu Azure verwendet.

Kostenoptimierung

Bei der Kostenoptimierung geht es um Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie in der Prüfliste zur Designüberprüfung für Kostenoptimierung.

Einige Möglichkeiten zur Kostenoptimierung sind nachstehend aufgeführt:

  • Mit Azure SQL Datenbank ohne Server können Computeressourcen basierend auf Ihrer Workloadaktivität automatisch skaliert, angehalten und fortgesetzt werden, sodass Sie nur die Ressourcen bezahlen müssen, die Sie auch nutzen.

  • Verwenden Sie eine Lebenszyklusrichtlinie, um Daten zwischen Zugriffsebenen in Azure Storage zu verschieben.

  • Verschieben Sie Ihre Daten von einer heißeren Speicherebene in eine kältere Speicherebene, wenn in Azure Storage über einen Zeitraum kein Zugriff erfolgt. Sie können Daten auch von einer kälteren Zugriffsebene in eine Archivzugriffsebene verschieben.

  • Verwenden Sie Azure Advisor, um unausgelastete Ressourcen zu suchen. Lassen Sie sich Empfehlungen zum Neukonfigurieren oder Konsolidieren von Ressourcen geben, um Ihre Ausgaben zu reduzieren.

Verwenden Sie den Azure-Preisrechner, um die Kosten für die Nutzung von Azure-Ressourcen dieser Lösung abzuschätzen.

Operative Exzellenz

Operational Excellence deckt die Betriebsprozesse ab, mit denen eine Anwendung bereitgestellt und in der Produktion ausgeführt wird. Weitere Informationen finden Sie unter Entwurfsprüfliste für Operational Excellence.

Azure DevOps ermöglicht die Neuentwicklung (Re-engineering) von Mainframeanwendungen in Azure in allen Phasen der Softwareentwicklung und Teamzusammenarbeit. Azure DevOps stellt die folgenden Dienste zur Verfügung:

  • Azure Boards: Flexible Planung, Nachverfolgung von Arbeitselementen, Visualisierung und Berichterstellung.
  • Azure-Pipelines. Eine sprach-, plattform- und cloudunabhängige CI/CD-Plattform (Continuous Integration/Continuous Delivery) mit Unterstützung für Container oder Kubernetes.
  • Azure Repos: In der Cloud gehostete private Git-Repositorys.
  • Azure Artifacts: Integrierte Paketverwaltung mit Unterstützung für Maven-, npm-, Python- und NuGet-Paketfeeds aus öffentlichen oder privaten Quellen.
  • Azure Test Plans: Eine Lösung für integrierte, geplante und explorative Tests.

Leistungseffizienz

Leistungseffizienz ist die Fähigkeit Ihrer Arbeitslast, sich so zu skalieren, dass sie den Anforderungen der Benutzer auf effiziente Weise gerecht wird. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für die Leistungseffizienz.

Stellen Sie den mLogica-Datenmigrationscluster bei der Migration mehrerer umfangreicher unabhängiger Datasets auf mehreren virtuellen Computern bereit, um die Datenladegeschwindigkeit zu maximieren.

Sie können mehrere Datasets parallel vom Mainframe in Blob Storage hochladen.

Azure SQL-Datenbank ohne Server ermöglicht die automatische Skalierung basierend auf der Workload. Andere Azure-Datenbanken können über eine Automatisierung hoch und herunter skaliert werden, um die Workloadanforderungen zu erfüllen. Weitere Informationen finden Sie unter Automatische Skalierung.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben.

Hauptautor:

Sandip Khandelwal | Leitender Ingenieur Architekt

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte

Lesen Sie die Leitfäden zur Azure-Datenbankmigration.

Wenden Sie sich an das Team Azure Data Engineering – Mainframe and Midrange Modernization, um weitere Informationen zu erhalten.