Migrera stordatordatanivån till Azure med mLogica LIBER*IRIS

Azure Database for MySQL

Azure Database for PostgreSQL

Azure Cosmos DB

Azure SQL Database

Azure Storage

Stordatorprogram genererar stora mängder transaktionsdata. Azure är en lämplig plattform för att modernisera dessa arbetsbelastningar och migrera deras data. Azure relationsdatabaser och NoSQL databaser ger skalbarhet, hög tillgänglighet och enkelt underhåll som uppfyller eller överskrider stordatormiljöer. Om du planerar att dra tillbaka en stordators arbetsbelastning och behålla data i lågkostnadslagring tillhandahåller Azure flera lagringsalternativ.

Om du migrerar arbetsbelastningar från en stordator till Azure som en del av programomläggning eller refaktorisering krävs vanligtvis datamigrering i stor skala. mLogica LIBER*IRIS tillhandahåller en beprövad lösning för massdatamigrering från en stordator till Azure. Lösningen fungerar i stor skala för migrering av företagsarbetsbelastningar. Den här artikeln beskriver hur du migrerar IBM z/OS-stordatordata till Azure med hög återgivning.

Arkitektur

Följande diagram visar hur mLogica LIBER*IRIS integreras med Azure komponenter för att migrera stordatordata till Azure i stor skala.

mLogica LIBER*IRIS och dess logotyper är varumärken som tillhör företaget. Ingen rekommendation antyds av användningen av dessa varumärken.

Ladda ned en Visio fil i den här arkitekturen.

Dataflöde

Följande dataflöde motsvarar föregående diagram:

Kopiera DDL-filer (Data Definition Language), databasbeskrivningsfiler (DBD), copybooks, datalayouter och andra databeskrivningsartefakter till en Azure virtuell Linux-dator (VM) som kör mLogica-datamigreringstjänstverktyg. Använd File Transfer Protocol Secure (FTPS) över ett säkert Azure virtuellt privat nätverk (VPN) eller Azure ExpressRoute.
MLogica LIBER*IRIS-datamigreringsklustret genererar dataextraheringsskript som ska köras på stordatorn.
Använd FTPS via VPN för att överföra dataextraheringsskripten till stordatorn. FTPS-anslutningen konverterar ASCII till stordatorns EBCDIC-format.
De extraherade skripten körs på stordatorn. De exporterar data från flera källor till sekventiella filer, där alla packade decimaldata packas upp. De genererar SQL-inläsningsskripten som används för att läsa in data i måldatabasen.
Systemet överför sekventiella filer och läser in skript till Azure Blob Storage med hjälp av SFTP (Binary Secure File Transfer Protocol). Stordatordata förblir i EBCDIC-format i det här steget.
Datamigreringstjänsten mLogica kör belastningsskripten för att konvertera EBCDIC till ASCII. Skripten skriver fel under inläsningen till Azure Storage. För att minska kostnaderna kan du använda två lagringskonton. Lagra datafiler på en frekvent åtkomstnivå och loggfiler på en lågfrekvent åtkomstnivå.
Skripten läser in ASCII-konverterade data från sekventiella filer till målet Azure relationsdatabas. Inläsningsskripten innehåller DDL-kommandon för att skapa tabeller och andra objekt och SQL-frågor för att läsa in data i dessa objekt. Skala inläsningsprocessen vågrätt över ett kluster för att maximera dataflödet efter behov. Körningsloggar och detaljerade undantagsloggar lagras i Blob Storage för ytterligare analys.
Datamigreringstjänsten mLogica LIBER*IRIS kör inläsningsskripten för att transformera data från relationsfilformat till NoSQL databasformat. Du kan ladda upp den här NoSQL-datan till Azure Cosmos DB med hjälp av Azure Cosmos DB SQL API.

Komponenter

Den här lösningen använder följande komponenter.

Nätverk och identitet

Azure VPN Gateway är en virtuell nätverksgateway som skickar krypterad trafik mellan ett Azure virtuellt nätverk och en lokal plats via det offentliga Internet. I den här arkitekturen tillhandahåller VPN Gateway ett alternativ till ExpressRoute för säker anslutning mellan stordatormiljön och Azure.
ExpressRoute är en anslutningstjänst som utökar lokala nätverk till Azure via en anslutningsleverantör. I den här arkitekturen tillhandahåller ExpressRoute en säker privat anslutning för att överföra datadefinitionsfiler och extraheringsskript mellan stordatorn och Azure.
Microsoft Entra ID är en identitets- och åtkomsthanteringstjänst som kan synkroniseras med en lokal katalog. I den här arkitekturen tillhandahåller Microsoft Entra ID autentisering och åtkomstkontroll för mLogica-datamigreringsklustret och Azure resurser.

Compute

Azure Virtual Machines är en beräkningstjänst som tillhandahåller skalbara beräkningsresurser på begäran. I den här arkitekturen körs mLogica-datamigreringsklustret på Azure virtuella Linux-datorer som är optimerade för nätverksprestanda.

Databaser och lagring

Azure SQL, Azure Database for PostgreSQL och Azure Database for MySQL är fullständigt hanterade PaaS-tjänster (plattform som en tjänst) för SQL Server, PostgreSQL respektive MySQL. I den här arkitekturen tillhandahåller dessa tjänster högpresterande, högtillgängliga alternativ för relationsdata för stordatorer, emulerade icke-relationella data och emulerade VSAM-data (Virtual Storage Access Method).
Azure Cosmos DB är en fullständigt hanterad NoSQL databastjänst som ger låg svarstid och elastisk skalbarhet. I den här arkitekturen migrerar den icke-relationella stordatorkällor som IMS (Information Management System), Integrated Database Management System (IDMS) och ADABAS (Adaptable Database System).
Blob Storage är en molnlagringstjänst med hög tillgänglighet, krypterad i vila, kostnadseffektiv lagring med hög kapacitet. I den här arkitekturen stöder Blob Storage direkt binär SFTP-trafik från stordatorn och kan montera containrar på virtuella Linux-datorer med hjälp av NFS 3.0 för att lagra sekventiella filer och läsa in skript.

Övervakning

Azure Monitor är en övervakningsplattform som samlar in, analyserar och agerar på telemetri från molnmiljöer och lokala miljöer. I den här arkitekturen övervakar Azure Monitor mLogica-datamigreringsklustret och konfigurerar aviseringar för proaktiv hantering.
- Application Insights är en Azure Monitor funktion som övervakar programmets prestanda genom att samla in och analysera telemetri. I den här arkitekturen övervakar Application Insights datamigreringsklustret mLogica för prestandainsikter och diagnostik.
- Azure Monitor Logs är en Azure Monitor funktion som samlar in och organiserar logg- och prestandadata från övervakade resurser. I den här arkitekturen konsoliderar Azure Monitor Loggar data från flera källor till en enda arbetsyta, inklusive plattformsloggar från Azure tjänster, logg- och prestandadata från VM-agenter samt användnings- och prestandadata från program.
- Log Analytics är en Azure Monitor funktion som kör loggfrågor som hjälper dig att använda data som samlas in i Azure Monitor Loggar. I den här arkitekturen analyserar Log Analytics körloggar från skript för mLogica-inläsning som Blob Storage lagrar. Det använder ett frågespråk för att koppla data från flera tabeller, aggregera stora uppsättningar data och utföra komplexa åtgärder.

Scenarioinformation

Den här artikeln beskriver hur du kan använda mLogica-produkten för att utföra massmigrering av data från ett stordatorsystem till Azure.

Potentiella användningsfall

I det här exemplet stöder arbetsbelastningen två viktiga användningsfall:

Arbetsbelastningens omlokalisering eller omstrukturering: Flytta all mainframedata som är relaterad till belastningen från en mainframe till Azure. Dessa data omfattar databaser som Db2, IMS och IDMS och filer.
Archival: Dra tillbaka stordatorarbetsbelastningen och behålla data i en Azure lagringslösning till låg kostnad.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Well-Architected Framework.

Tillförlitlighet

Tillförlitlighet hjälper till att säkerställa att ditt program kan uppfylla de åtaganden som du gör gentemot dina kunder. Mer information finns i checklistan för Designgranskning för tillförlitlighet.

Följ dessa allmänna rekommendationer om du inte har ett specifikt krav som åsidosätter dem:

Skapa alla Azure resurser för det här scenariot i en enda region för att minska nätverksfördröjningen.
Dela upp data i flera filer och skicka dem till Azure parallellt, i stället för att skicka en enda stor fil från stordatorn.
Använd Azure Monitor och Application Insights för att övervaka mLogica-datamigreringsklustret. Konfigurera aviseringar för proaktiv hantering.

Tillgänglighet

Det här exempelarbetsflödet beskriver migrering från stordator till Azure för att omplatforma, omstrukturera eller arkivera en arbetsbelastning. Du kör vanligtvis den här diskreta uppgiften några gånger under ett månadslångt projekt. Det här scenariot kräver inte hög tillgänglighet, men du kan utforma mLogica-datamigreringsklustret så att det ger hög tillgänglighet.

Azure databastjänster stöder zonredundans. Du kan konfigurera redundans för avbrott och underhållsperioder.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i checklistan för Designgranskning för Security. Allmän vägledning om hur du utformar säkra lösningar finns i säkerhetsdokumentationen Azure.

Databastjänster i Azure stöder olika säkerhetsalternativ.

Datakryptering i vila med transparent datakryptering (TDE)
Datakryptering under överföring med hjälp av TLS (Transport Layer Security)
Datakryptering under bearbetning med Always Encrypted med säkra enklaver

Du kan styra autentisering och åtkomstkontroll i mLogica-datamigreringsklustret med hjälp av Microsoft Entra ID. Du kan konfigurera Azure resurser för autentisering och auktorisering med hjälp av Microsoft Entra ID och rollbaserad åtkomstkontroll (RBAC).

TLS krypterar data under överföring mellan mLogica-datamigreringsklustret och stordatorn. Du kan lagra TLS-certifikat i Azure Key Vault för förbättrad säkerhet. Secure Shell (SSH) krypterar data under överföring från stordatorn till Blob Storage.

Stordatordata och inläsningsskript lagras tillfälligt i Blob Storage, där de krypteras i vila. Data tas bort från Blob Storage när migreringen har slutförts.

Det här exempelarbetsflödet använder ExpressRoute eller site-to-site VPN för en privat och effektiv anslutning till Azure från din lokala miljö.

Kostnadsoptimering

Kostnadsoptimering fokuserar på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i checklistan Designgranskning för kostnadsoptimering.

Skala, pausa och återuppta beräkningsresurser med hjälp av Azure SQL Database serverlös. Den justerar automatiskt beräkning baserat på arbetsbelastningsaktivitet så att du bara betalar för de resurser som du använder.
Använd en livscykelhanteringsprincip för att flytta data mellan åtkomstnivåer i Azure Blob Storage.

Flytta data från en varmare åtkomstnivå till en lågfrekvent nivå när ingen kommer åt den under en viss tid. Du kan också flytta data från en lågfrekvent åtkomstnivå till en arkivåtkomstnivå.
Använd Azure Advisor för att hitta underanvända resurser. Få rekommendationer om hur du konfigurerar om eller konsoliderar resurser för att minska dina utgifter.
Använd priskalkylatorn Azure för att beräkna Azure komponentkostnader för den här lösningen.

Operativ skicklighet

Operational Excellence omfattar de driftsprocesser som distribuerar ett program och håller det igång i produktion. Mer information finns i checklistan för Designgranskning för Operational Excellence.

Du kan använda Azure DevOps för att återskapa stordatorprogram på Azure under varje fas av programvaruutveckling och teamsamarbete. Azure DevOps tillhandahåller följande tjänster:

Azure Boards: Flexibel planering, spårning av arbetsobjekt, visualisering och rapportering.
Azure Pipelines: En språk-, plattforms- och molnoberoende plattform för kontinuerlig integration och kontinuerlig leverans (CI/CD) som stöder containrar eller Kubernetes.
Azure Repos: Molnbaserade privata Git-lagringsplatser.
Azure Artifacts: Integrerad pakethantering som stöder Maven-, npm-, Python- och NuGet-paketflöden från offentliga eller privata källor.
Azure Test Plans: En integrerad lösning för planerad och undersökande testning.

Prestandaeffektivitet

Prestandaeffektivitet syftar på arbetsbelastningens förmåga att skala för att effektivt uppfylla användarnas krav. Mer information finns i checklistan för Designgranskning för prestandaeffektivitet.

Använd följande rekommendationer för att förbättra prestandaeffektiviteten:

Distribuera mLogica-datamigreringsklustret på flera virtuella datorer om du migrerar flera stora oberoende datauppsättningar för att maximera datainläsningshastigheten. Du kan ladda upp flera datauppsättningar parallellt från stordatorn till Blob Storage.
Överväg att vara serverlös i SQL Database för arbetsbelastningsbaserad automatisk skalning. Du kan skala upp och ned andra Azure databaser med hjälp av automatisering för att uppfylla dina arbetsbelastningskrav. För mer information, se Autoskalning.

Deltagare

Microsoft hanterar den här artikeln. Följande deltagare skrev den här artikeln.

Huvudförfattare:

Sandip Khandelwal | Teknisk huvudarkitekt

Om du vill se icke-offentliga LinkedIn profiler loggar du in på LinkedIn.

Nästa steg

Granska migreringsguiderna för Azure.

För mer information, kontakta Azure Data Engineering – Stordator- och mellanmodernisering.

Feedback

Var den här sidan till hjälp?