Hoge beschikbaarheid voor SAP NetWeaver op Azure VM's op SUSE Linux Enterprise Server voor SAP-toepassingen met meerdere SID's

In dit artikel wordt beschreven hoe u meerdere maximaal beschikbare SAP NetWeaver- of S/4HANA-systemen (multi-SID) implementeert in een cluster met twee knooppunten op Azure VM's met SUSE Linux Enterprise Server voor SAP-toepassingen. Met clustering met meerdere SID's kunt u meerdere SAP-exemplaren met verschillende systeem-id's uitvoeren op hetzelfde Pacemaker-cluster, waardoor het resourcegebruik wordt geoptimaliseerd terwijl hoge beschikbaarheid behouden blijft.

In de voorbeeldconfiguraties, installatieopdrachten en enzovoort worden drie SAP NetWeaver 7.50-systemen geïmplementeerd in één cluster met hoge beschikbaarheid met twee knooppunten. De SAP-systemen-SID's zijn:

NW1: ASCS-exemplaarnummer 00 en virtuele hostnaam msnw1ascs; ERS-exemplaarnummer 02 en virtuele hostnaam msnw1ers.
NW2: ASCS-exemplaar nummer 10 en virtuele hostnaam msnw2ascs; ERS-instantienummer 12 en virtuele hostnaam msnw2ers.
NW3: ASCS-exemplaar nummer 20 en virtuele hostnaam msnw3ascs; ERS-exemplaarnummer 22 en virtuele hostnaam msnw3ers.

Het artikel heeft geen betrekking op de databaselaag en de implementatie van de SAP NFS-shares. In de voorbeelden in dit artikel gebruiken we virtuele namen nw2-nfs voor de NW2 NFS-shares en nw3-nfs voor de NW3 NFS-shares, ervan uitgaande dat er een NFS-cluster is geïmplementeerd.

Raadpleeg eerst de volgende SAP-notities en -documenten voordat u begint:

SAP-notitie 1928533, met:
- Lijst met Azure VM-grootten die worden ondersteund voor de implementatie van SAP-software
- Belangrijke capaciteitsinformatie voor Azure VM-grootten
- Ondersteunde COMBINATIES van SAP-software, besturingssysteem (OS) en database
- Vereiste SAP-kernelversie voor Windows en Linux op Microsoft Azure
SAP Note 2015553 heeft vereisten voor sap-ondersteunde SAP-software-implementaties in Azure.
SAP Note 2205917 heeft de aanbevolen besturingssysteeminstellingen voor SUSE Linux Enterprise Server voor SAP-toepassingen.
SAP-opmerking 1944799 bevat SAP HANA richtlijnen voor SUSE Linux Enterprise Server voor SAP-toepassingen.
SAP Note 2178632 bevat gedetailleerde informatie over alle metrische bewakingsgegevens die zijn gerapporteerd voor SAP in Azure.
SAP-opmerking 2191498 heeft de vereiste VERSIE van de SAP Host Agent voor Linux in Azure.
SAP Note 2243692 bevat informatie over SAP-licenties op Linux in Azure.
SAP-opmerking 1984787 bevat algemene informatie over SUSE Linux Enterprise Server 12.
SAP Note 1999351 bevat andere informatie over probleemoplossing voor de Azure Uitgebreide bewakingsextensie voor SAP.
SAP Community WIKI bevat alle vereiste SAP-notities voor Linux.
Azure Virtual Machines planning en implementatie voor SAP op Linux.
Azure Virtual Machines-implementatie voor SAP op Linux.
Azure Virtual Machines DBMS-implementatie voor SAP op Linux.
SUSE SAP HA Best Practice Guides - De handleidingen bevatten alle vereiste informatie voor het configureren van Netweaver HA en SAP HANA Systeemreplicatie on-premises. Gebruik deze handleidingen als een algemene basislijn. Ze bieden veel gedetailleerdere informatie.
Releaseopmerkingen voor SUSE High Availability Extension 12 SP3.
SUSE multi-SID-clustergids voor SLES 12 en SLES 15.
NetApp SAP-toepassingen op Microsoft Azure met behulp van Azure NetApp Files.

Overzicht

De virtuele machines die deelnemen aan het cluster, moeten de grootte hebben om alle resources uit te kunnen voeren, voor het geval er een failover plaatsvindt. Elke SAP-SID kan onafhankelijk van elkaar een failover uitvoeren in het cluster met hoge beschikbaarheid met meerdere SID's. Als u SBD-fencing gebruikt, kunnen de SBD-apparaten worden gedeeld tussen meerdere clusters.

Voor hoge beschikbaarheid vereist SAP NetWeaver maximaal beschikbare NFS-shares. In dit voorbeeld wordt ervan uitgegaan dat de SAP NFS-shares worden gehost op maximaal beschikbare NFS-bestandsserver, die meerdere SAP-systemen kunnen gebruiken. Of de shares worden geïmplementeerd op Azure NetApp Files NFS-volumes.

Een diagram van een Pacemaker-cluster met gedetailleerde informatie over twee clusters met meerdere SID's.

Belangrijk

De ondersteuning voor clustering met meerdere SID's van SAP ASCS/ERS met SUSE Linux als gastbesturingssysteem in Azure VM's is beperkt tot five (5) SAP-SID's op hetzelfde cluster. Elke nieuwe SID verhoogt de complexiteit. Een combinatie van SAP Enqueue Replication Server 1 en Enqueue Replication Server 2 op hetzelfde cluster wordt niet ondersteund. Clustering met meerdere SID's beschrijft de installatie van meerdere SAP ASCS/ERS-exemplaren met verschillende SID's in één Pacemaker-cluster. Clustering met meerdere SID's wordt momenteel alleen ondersteund voor ASCS/ERS.

Suggestie

De clustering met meerdere SID's van SAP ASCS/ERS is een oplossing met een hogere complexiteit. Het is complexer om te implementeren. Het omvat ook een hogere administratieve inspanning bij het uitvoeren van onderhoudsactiviteiten (zoals patching van het besturingssysteem). Voordat u de daadwerkelijke implementatie start, moet u de implementatie en alle betrokken onderdelen, zoals VM's, NFS-koppelingen, VIP's, load balancer-configuraties, enzovoort, zorgvuldig plannen.

De NFS-server, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS en de SAP HANA-database maken gebruik van virtuele hostnaam en virtuele IP-adressen. Op Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. We raden u aan standard load balancer te gebruiken.

De gepresenteerde configuratie voor dit voorbeeld van een multi-SID-cluster met drie SAP-systemen toont een load balancer met:

Front-end-IP-adressen voor ASCS: 10.3.1.14 (NW1), 10.3.1.16 (NW2) en 10.3.1.13 (NW3)
Front-end-IP-adressen voor ERS: 10.3.1.15 (NW1), 10.3.1.17 (NW2) en 10.3.1.19 (NW3)
Testpoort 62000 voor NW1 ASCS, 62010 voor NW2 ASCS en 62020 voor NW3 ASCS
Testpoort 62102 voor NW1 ASCS, 62112 voor NW2 ASCS en 62122 voor NW3 ASCS

Notitie

Wanneer VM's zonder openbare IP-adressen worden toegevoegd aan de back-endpool van een interne Standard-Azure Load Balancer, hebben ze geen uitgaande internetverbinding. Er is verdere configuratie nodig om routering naar openbare eindpunten mogelijk te maken. Zie Public endpoint connectivity for virtual machines using Azure Standard Load Balancer in SAP high-availability scenarios voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

Schakel TCP-tijdstempels niet in op Azure VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, mislukken de statustests. Stel de net.ipv4.tcp_timestamps parameter in op 0. Zie Load Balancer statustests voor meer informatie.
Als u wilt voorkomen dat saptune de handmatig ingestelde net.ipv4.tcp_timestamps-waarde wordt veranderd van 0 terug naar 1, moet u de saptune-versie bijwerken naar 3.1.1 of hoger. Zie Saptune 3.1.1 – Moet ik bijwerken? voor meer informatie.

SAP NFS-gedeelde bestanden

SAP NetWeaver vereist gedeelde opslag voor het transport, de profielmap, enzovoort. Voor een SAP-systeem met hoge beschikbaarheid is het belangrijk om hoog beschikbare NFS-shares te hebben. U moet beslissen over de architectuur voor uw SAP NFS-shares. Een optie is het bouwen van een hoog beschikbare NFS-cluster op Azure virtual machines op SUSE Linux Enterprise Server, die gedeeld kan worden tussen meerdere SAP-systemen.

Een andere optie is om de shares te implementeren op Azure NetApp Files NFS-volumes. Met Azure NetApp Files krijgt u ingebouwde hoge beschikbaarheid voor de SAP NFS-shares.

Het eerste SAP-systeem in het cluster implementeren

Implementeer op basis van de architectuur voor de SAP NFS-shares het eerste SAP-systeem in het cluster, volgens de bijbehorende documentatie.

Als u een hoog beschikbare NFS-server gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Azure VM's op SUSE Linux Enterprise Server voor SAP-toepassingen.
Als u Azure NetApp Files NFS-volumes gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Azure VM's op SUSE Linux Enterprise Server met Azure NetApp Files voor SAP-toepassingen.

In de artikelen waarnaar wordt verwezen, doorloopt u de stappen voor het voorbereiden van de benodigde infrastructuren, het bouwen van het cluster en het voorbereiden van het besturingssysteem voor het uitvoeren van de SAP-toepassing.

Suggestie

Test altijd de failoverfunctionaliteit van het cluster nadat het eerste systeem is geïmplementeerd en voordat u meer SAP-SID's toevoegt aan het cluster. Testen is van cruciaal belang, zodat u weet dat de clusterfunctionaliteit werkt voordat u de complexiteit van extra SAP-systemen aan het cluster toevoegt.

Meerdere SAP-systemen implementeren in het cluster

In dit voorbeeld gaan we ervan uit dat systeem NW1 al in het cluster is geïmplementeerd. We laten ook zien hoe u SAP-systemen NW2 en NW3 implementeert in het cluster.

De volgende items worden voorafgegaan door:

[A] - van toepassing op alle knooppunten
[1] - alleen van toepassing op knooppunt 1
[2] - alleen van toepassing op knooppunt 2

Prerequisites

Belangrijk

Voordat u de instructies volgt voor het implementeren van meer dan één SAP-systeem in het cluster, volgt u de instructies voor het implementeren van het eerste SAP-systeem in het cluster, omdat er stappen zijn die alleen nodig zijn tijdens de eerste systeemimplementatie.

In deze documentatie wordt ervan uitgegaan dat:

Het Pacemaker-cluster is al geconfigureerd en wordt uitgevoerd.
Ten minste één SAP-systeem (ASCS/ERS-exemplaar) is al geïmplementeerd en wordt uitgevoerd in het cluster.
De functionaliteit van de cluster-failover wordt getest.
De NFS-shares voor alle SAP-systemen worden geïmplementeerd.

Voorbereiden op de installatie van SAP NetWeaver

Voeg de configuratie toe voor het zojuist geïmplementeerde systeem (NW2 en NW3) aan de bestaande Azure Load Balancer. Volg hiervoor de instructies configuratie Azure Load Balancer handmatig via Azure portal. Pas de IP-adressen, statustestpoorten en taakverdelingsregels voor uw configuratie aan.

[A] Naamomzetting configureren voor de andere SAP-systemen. U kunt ofwel een DNS-server gebruiken of /etc/hosts op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het /etc/hosts bestand gebruikt. Pas de IP-adressen en de hostnamen aan uw omgeving aan.

sudo vi /etc/hosts

# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.16 msnw2ascs

# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.13 msnw3ascs

# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.17 msnw2ers

# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.19 msnw3ers

# IP address for virtual host name for the NFS server for NW2
10.3.1.31 nw2-nfs

# IP address for virtual host name for the NFS server for NW3
10.3.1.32 nw3-nfs

[A] Maak de gedeelde mappen voor SAP-systemen NW2 en NW3 die u in het cluster implementeert.

sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22

sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

[A] Configureer autofs om de /sapmnt/SID en /usr/sap/SID/SYS bestandssystemen te mounten voor de andere SAP-systemen die u in het cluster implementeert. In dit voorbeeld NW2 en NW3.

Werk het bestand /etc/auto.direct bij met de bestandssystemen voor de andere SAP-systemen die u in het cluster implementeert.
- Als u de NFS-bestandsserver gebruikt, volgt u de instructies op de pagina Azure VM's met hoge beschikbaarheid voor SAP NetWeaver op SLES
- Als u Azure NetApp Files gebruikt, volgt u de instructies op de pagina Azure vm's met hoge beschikbaarheid voor SAP NW op SLES met Azure NetApp Files
U moet de autofs service opnieuw starten om de zojuist toegevoegde shares te koppelen.

ASCS/ERS installeren

Maak de virtuele IP- en statustestclusterresources voor het ASCS-exemplaar van het andere SAP-systeem dat u in het cluster implementeert. Het weergegeven voorbeeld is voor NW2 en NW3 ASCS, met behulp van maximaal beschikbare NFS-server.
Belangrijk

Recente tests hebben situaties aangetoond waarin netcat niet meer reageert op aanvragen vanwege een achterstand en de beperking van het verwerken van slechts één verbinding. De resource netcat luistert niet meer naar de Azure Load Balancer-aanvragen en het zwevende IP-adres is niet meer beschikbaar. Voor bestaande Pacemaker-clusters raden we in het verleden aan om te netcat vervangen door socat. Momenteel raden we u aan om de resource agent azure-lb te gebruiken, die deel uitmaakt van het pakket resource-agents, met de volgende vereisten voor pakketversies:
- Voor SLES 12 SP4/SP5 moet de versie ten minste resource-agents-4.3.018.a7fb5035-3.30.1 zijn.
- Voor SLES 15/15 SP1 moet de versie ten minste resource-agents-4.3.0184.6ee15eb2-4.13.1 zijn.
Voor de wijziging is korte downtime vereist. Als de configuratie van bestaande Pacemaker-clusters al is gewijzigd om socat te gebruiken, zoals beschreven in Azure Load-Balancer Detectiebeveiliging, is er geen noodzaak om onmiddellijk over te schakelen naar de azure-lb resourceagent.
```
sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
    params ip=10.3.1.16 \
    op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010 \
    op monitor timeout=20s interval=10

sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
     meta resource-stickiness=3000

sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
   params ip=10.3.1.13 \
   op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020 \
   op monitor timeout=20s interval=10

sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
    meta resource-stickiness=3000
```
Terwijl u de resources aan het maken bent, kunnen ze worden toegewezen aan verschillende cluster resources. Wanneer u ze groepeert, worden ze gemigreerd naar een van de clusterknooppunten. Zorg ervoor dat de clusterstatus in orde is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de bronnen draaien.
[1] SAP NetWeaver ASCS installeren

Installeer SAP NetWeaver ASCS als root, met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ASCS. Voor systeem NW2 is de virtuele hostnaam bijvoorbeeld msnw2ascs, 10.3.1.16 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 10. voor systeem NW3 is de virtuele hostnaam msnw3ascs, 10.3.1.13 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 20.

U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de naam van de virtuele host.
```
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Als de installatie geen submap kan maken in /usr/sap/SID/ASCSInstance#, probeer dan de eigenaar in te stellen op sidadm en de groep op sapsys van de ASCSInstance# en probeer het opnieuw.

[1] Maak een virtueel IP-adres en statustestclusterresources voor het ERS-exemplaar van het andere SAP-systeem dat u in het cluster implementeert. Het weergegeven voorbeeld is voor NW2 en NW3 ERS, met behulp van maximaal beschikbare NFS-server.

sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
 op start timeout=60s interval=0 \
 op stop timeout=60s interval=0 \
 op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW2_ERS IPaddr2 \
 params ip=10.3.1.17 \
 op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW2_ERS azure-lb port=62112 \
 op monitor timeout=20s interval=10

sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS

sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
 op start timeout=60s interval=0 \
 op stop timeout=60s interval=0 \
 op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW3_ERS IPaddr2 \
 params ip=10.3.1.19 \
 op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW3_ERS azure-lb port=62122 \
 op monitor timeout=20s interval=10

sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS

Wanneer u de resources maakt, kunnen ze worden toegewezen aan verschillende clusterknooppunten. Wanneer u ze groepeert, worden ze gemigreerd naar een van de clusterknooppunten. Zorg ervoor dat de clusterstatus in orde is en of alle resources zijn gestart.

Zorg er vervolgens voor dat de resources van de zojuist gemaakte ERS-groep worden uitgevoerd op het clusterknooppunt, in tegenstelling tot het clusterknooppunt waarop het ASCS-exemplaar voor hetzelfde SAP-systeem is geïnstalleerd. Als NW2 ASCS bijvoorbeeld is geïnstalleerd op slesmsscl1, controleer dan of de NW2 ERS-groep draait op slesmsscl2. U kunt de NW2 ERS-groep migreren naar slesmsscl2 door de volgende opdracht uit te voeren:

crm resource migrate g-NW2_ERS slesmsscl2 force

[2] SAP NetWeaver ERS installeren

Installeer SAP NetWeaver ERS als root op het andere knooppunt, met gebruik van een virtuele hostnaam die naar het IP-adres van de frontend-configuratie van de load balancer voor de ERS verwijst. Voor systeem NW2 is de naam van de virtuele host bijvoorbeeld msnw2ers, 10.3.1.17 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 12. Voor systeem NW3, de naam van de virtuele host msnw3ers, 10.3.1.19 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 22.

U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de naam van de virtuele host.
```
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Notitie

Gebruik SWPM SP 20 PL 05 of hoger. In lagere versies worden de machtigingen niet juist ingesteld, waardoor de installatie mislukt.

Als de installatie geen submap kan maken in /usr/sap/NW2/ERSInstance#, probeert u de eigenaar in te stellen op sidadm en de groep op sapsys van de map ERSInstance# en probeert u het opnieuw.

Als het nodig was om de ERS-groep van het zojuist geïmplementeerde SAP-systeem te migreren naar een ander clusterknooppunt, vergeet dan niet om de locatiebeperking voor de ERS-groep te verwijderen. U kunt de beperking verwijderen door de volgende opdracht uit te voeren (het voorbeeld wordt gegeven voor SAP-systemen NW2 en NW3).
```
crm resource unmigrate g-NW2_ERS
crm resource unmigrate g-NW3_ERS
```

[1] Pas de ASCS/SCS- en ERS-exemplaarprofielen aan voor een of meer nieuw geïnstalleerde SAP-systemen. Het weergegeven voorbeeld is voor NW2. U moet de ASCS/SCS- en ERS-profielen aanpassen voor alle SAP-exemplaren die zijn toegevoegd aan het cluster.

ASCS-/SCS-profiel

sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_EXECUTABLE)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = TRUE

Zorg ervoor dat voor zowel ENSA1 als ENSA2 de parameters van het keepalive besturingssysteem zijn ingesteld zoals beschreven in SAP note 1410736.

ERS-profiel

sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_EXECUTABLE)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

[A] Configureer de SAP-gebruikers voor het zojuist geïmplementeerde SAP-systeem, in dit voorbeeld NW2 en NW3.
```
# Add sidadm to the haclient group
sudo usermod -aG haclient nw2adm
sudo usermod -aG haclient nw3adm
```

Voeg de ASCS- en ERS SAP-services voor het zojuist geïnstalleerde SAP-systeem toe aan het sapservice bestand. Het weergegeven voorbeeld is voor SAP-systemen NW2 en NW3.

Voeg de ASCS-servicevermelding toe aan het tweede knooppunt en kopieer de ERS-servicevermelding naar het eerste knooppunt. Voer de opdrachten uit voor elk SAP-systeem op het knooppunt, waarbij het ASCS-exemplaar voor het SAP-systeem is geïnstalleerd.

# Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices

# Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices

[A] Uitschakelen van services systemd van de ASCS- en ERS-SAP-instantie. Deze stap is alleen van toepassing als systemd het SAP-opstartframework beheert volgens SAP Note 3115048.

Notitie

Bij het beheren van SAP-exemplaren, zoals SAP ASCS en SAP ERS met behulp van SLES-clusterconfiguratie, moet u andere wijzigingen aanbrengen om het cluster te integreren met het systeemeigen SAP-startframework om ervoor te zorgen dat onderhoudsprocedures geen inbreuk maken op clusterstabiliteit. Nadat u het SAP-opstartframework hebt geïnstalleerd of hebt overgeschakeld naar een systemd-ingeschakelde opstelling volgens SAP Note 3115048, moet u de services voor de SAP-instanties ASCS en ERS uitschakelen.
```
# Stop all ASCS and ERS instances using <sid>adm
sapcontrol -nr 10 -function Stop
sapcontrol -nr 10 -function StopService

sapcontrol -nr 12 -function Stop
sapcontrol -nr 12 -function StopService

# Execute below command on VM where you have performed ASCS instance installation for each SAP system (e.g. slesmsscl1)
sudo systemctl disable SAPNW2_10
sudo systemctl disable SAPNW3_20
# Execute below command on VM where you have performed ERS instance installation for each SAP system (e.g. slesmsscl2)
sudo systemctl disable SAPNW2_12
sudo systemctl disable SAPNW2_22
```

[1] Maak de SAP-clusterbronnen voor het zojuist geïnstalleerde SAP-systeem.

Afhankelijk van of u een ENSA1- of ENSA2-systeem uitvoert, selecteert u het betreffende tabblad om de resources voor NW2 - en NW3-systemen te definiëren. SAP heeft ondersteuning geïntroduceerd voor ENSA2, inclusief replicatie, in SAP NetWeaver 7.52. Vanaf ABAP Platform 1809 wordt ENSA2 standaard geïnstalleerd. Zie SAP Note 2630416 voor ONDERSTEUNING voor ENSA2.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
sudo crm configure property maintenance-mode="false"

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
sudo crm configure property maintenance-mode="false"

Als u een upgrade uitvoert van een oudere versie en overschakelt naar server 2 in de wachtrij, raadpleegt u SAP Note 2641019.

Zorg ervoor dat de clusterstatus ok is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de bronnen draaien.

In het volgende voorbeeld ziet u de status van de clusterbronnen, nadat SAP-systemen NW2 en NW3 aan het cluster zijn toegevoegd.

sudo crm_mon -r

# Online: [ slesmsscl1 slesmsscl2 ]

#Full list of resources:

#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

In de volgende afbeelding ziet u hoe de resources eruit zouden zien in de High Availability Web Konsole (HAWK), waarbij de resources voor SAP-systeem NW2 zijn uitgevouwen.

Notitie

SAP ASCS/ERS-cluster kan worden uitgebreid van 2-knooppunt naar cluster met 3 knooppunten met 3 knooppunten als reserveknooppunt voor failover van ASCS- of ERS-services.

3-knooppuntenconfiguratie kan alleen worden gebruikt voor SAP-systemen met SAP Enqueue Replication Server 2 (ENSA2).
De clustereigenschap priority-fencing-delay mag niet worden gebruikt in een cluster met drie knooppunten.

Doorgaan met de SAP-installatie

Voltooi uw SAP-installatie door:

Uw SAP NetWeaver-toepassingsservers voorbereiden
Een DBMS-exemplaar installeren
Een primaire SAP-toepassingsserver installeren
Extra SAP-instanties installeren

De installatie van het cluster met meerdere SID's testen

De volgende tests zijn een subset van de testcases in de best practices-handleidingen van SUSE. Ze zijn inbegrepen voor uw gemak. Raadpleeg de volgende documentatie voor de volledige lijst met clustertests:

Als u een hoog beschikbare NFS-server gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Azure VM's op SUSE Linux Enterprise Server voor SAP-toepassingen.
Als u Azure NetApp Files NFS-volumes gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Azure VM's met SUSE Linux Enterprise Server en Azure NetApp Files voor SAP-toepassingen

Lees altijd de handleidingen voor aanbevolen procedures voor SUSE en voer alle tests uit zoals vereist. De tests die worden gepresenteerd, bevinden zich in een cluster met twee knooppunten met meerdere SID's waarop drie SAP-systemen zijn geïnstalleerd.

HAGetFailoverConfig en HACheckFailoverConfig testen

Voer de volgende opdrachten uit als <sapsid>adm op het knooppunt waarop het ASCS-exemplaar momenteel wordt uitgevoerd. Als er streepjes in de hostnaam staan, kunnen de opdrachten mislukken met FAIL: Onvoldoende geheugen (een bekend probleem). SUSE moet deze corrigeren in het pakket sap-suse-cluster-connector.

 slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig

# 10.12.2019 21:33:08
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig

# 19.12.2019 21:19:58
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig

# 10.12.2019 21:37:09
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl2
# HANodes: slesmsscl2, slesmsscl1

slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig

# 19.12.2019 21:17:39
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig

# 10.12.2019 23:35:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig

# 19.12.2019 21:10:42
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

Migreer het ASCS-exemplaar handmatig. In het voorbeeld ziet u hoe u het ASCS-exemplaar voor SAP-systeem NW2 migreert.

Resourcestatus, voordat u de test start:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Voer de volgende opdrachten uit als root om het ASCS-exemplaar NW2 te migreren.

 crm resource migrate rsc_sap_NW2_ASCS10 force
 # INFO: Move constraint created for rsc_sap_NW2_ASCS10

 crm resource unmigrate rsc_sap_NW2_ASCS10
 # INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

 # Remove failed actions for the ERS that occurred as part of the migration
 crm resource cleanup rsc_sap_NW2_ERS12

Toestand van de middelen na de test:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Testen van HAFailoverToNode. De test die hier wordt weergegeven, toont het migreren van het ASCS-exemplaar voor SAP-systeem NW2.

Resourcestatus voordat u de test start:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Voer de volgende opdrachten uit als nw2adm om het ASCS-exemplaar NW2 te migreren.

slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
crm resource cleanup rsc_sap_NW2_ERS12

# Remove migration constraints
crm resource clear rsc_sap_NW2_ASCS10

#INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

Toestand van de middelen na de test:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Een knooppuntcrash simuleren

Resourcestatus voordat u de test start:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Voer de volgende opdracht uit als root op het knooppunt waarop ten minste één ASCS-exemplaar wordt uitgevoerd. In dit voorbeeld hebben we de opdracht uitgevoerd op slesmsscl2, waarbij de ASCS-exemplaren voor NW1 en NW3 worden uitgevoerd.

slesmsscl2:~ # echo b > /proc/sysrq-trigger

Als u SBD gebruikt, moet Pacemaker niet automatisch beginnen op het gestopte knooppunt. De status nadat het knooppunt opnieuw is gestart, moet er als volgt uitzien.

 Online: [ slesmsscl1 ]
 OFFLINE: [ slesmsscl2 ]
 Full list of resources:

 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

 Failed Resource Actions:
 * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms

Gebruik de volgende opdrachten om Pacemaker op het vermoorde knooppunt te starten, de SBD-berichten op te schonen en de mislukte resources op te schonen.

# run as root
# list the SBD device(s)
cat /etc/sysconfig/sbd | grep SBD_DEVICE=

# output is like:
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear

systemctl start pacemaker
crm resource cleanup rsc_sap_NW1_ERS02
crm resource cleanup rsc_sap_NW2_ERS12
crm resource cleanup rsc_sap_NW3_ERS22

Toestand van de middelen na de test:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

Volgende stappen

Azure Virtual Machines planning en implementatie voor SAP
Azure Virtual Machines-implementatie voor SAP
Azure Virtual Machines DBMS-implementatie voor SAP
Zie High Availability of SAP HANA on Azure Virtual Machines (VM's)

Feedback

Is deze pagina nuttig?

Last updated on 2026-03-06

Hoge beschikbaarheid voor SAP NetWeaver op Azure VM's op SUSE Linux Enterprise Server voor SAP-toepassingen met meerdere SID's

Overzicht

SAP NFS-gedeelde bestanden

Het eerste SAP-systeem in het cluster implementeren

Meerdere SAP-systemen implementeren in het cluster

Prerequisites

Voorbereiden op de installatie van SAP NetWeaver

ASCS/ERS installeren

Doorgaan met de SAP-installatie

De installatie van het cluster met meerdere SID's testen

Volgende stappen

Feedback

Aanvullende resources