Conditions préalables pour Azure HPC Cache

Avant de créer un cache HPC Azure, assurez-vous que votre environnement répond à ces exigences.

Abonnement Azure

Un abonnement payant est recommandé.

Infrastructure réseau

Ces prérequis liés au réseau doivent être configurés avant de pouvoir utiliser votre cache :

• Sous-réseau dédié pour l’instance Azure HPC Cache
• Prise en charge DNS pour que le cache puisse accéder au stockage et à d’autres ressources
• L'accès depuis le sous-réseau aux services d'infrastructure supplémentaires de Microsoft Azure, y compris les serveurs NTP et le service Azure Queue Storage.

Sous-réseau de cache

Azure HPC Cache a besoin d’un sous-réseau dédié avec ces qualités :

• Le sous-réseau doit avoir au moins 64 adresses IP disponibles.
• La communication à l’intérieur du sous-réseau doit être illimitée. Si vous utilisez un groupe de sécurité réseau pour le sous-réseau de cache, assurez-vous qu’il autorise tous les services entre les adresses IP internes.
• Le sous-réseau ne peut pas héberger d’autres machines virtuelles, même pour les services associés tels que les ordinateurs clients.
• Si vous utilisez plusieurs instances Azure HPC Cache, chacun a besoin de son propre sous-réseau.

La meilleure pratique consiste à créer un sous-réseau pour chaque cache. Vous pouvez créer un réseau virtuel et un sous-réseau dans le cadre de la création du cache.

Lors de la création de ce sous-réseau, veillez à ce que ses paramètres de sécurité autorisent l’accès aux services d’infrastructure nécessaires mentionnés plus loin dans cette section. Vous pouvez restreindre la connectivité Internet sortante, mais assurez-vous qu’il existe des exceptions pour les éléments documentés ici.

Accès DNS

Le cache a besoin de DNS pour accéder aux ressources en dehors de son réseau virtuel. Selon les ressources que vous utilisez, vous devrez peut-être configurer un serveur DNS personnalisé et configurer le transfert entre ce serveur et les serveurs Azure DNS :

• Pour accéder aux points de terminaison de stockage Blob Azure et à d’autres ressources internes, vous avez besoin du serveur DNS basé sur Azure.
• Pour accéder au stockage local, vous devez configurer un serveur DNS personnalisé qui peut résoudre vos noms d’hôte de stockage. Vous devez le faire avant de créer le cache.

Si vous utilisez uniquement le stockage Blob, vous pouvez utiliser le serveur DNS fourni par Azure par défaut pour votre cache. Toutefois, si vous avez besoin d’accéder au stockage ou à d’autres ressources en dehors d’Azure, vous devez créer un serveur DNS personnalisé et le configurer pour transférer toutes les demandes de résolution spécifiques à Azure au serveur Azure DNS.

Pour utiliser un serveur DNS personnalisé, vous devez effectuer ces étapes de configuration avant de créer votre cache :

• Créez le réseau virtuel qui hébergera Azure HPC Cache.

• Créez le serveur DNS.

• Ajoutez le serveur DNS au réseau virtuel du cache.

  Procédez comme suit pour ajouter le serveur DNS au réseau virtuel dans le portail Azure :

  1. Ouvrez le réseau virtuel dans le portail Azure.
  2. Choisissez des serveurs DNS dans le menu Paramètres dans la barre latérale.
  3. Sélectionner Personnalisé
  4. Entrez l’adresse IP du serveur DNS dans le champ.

Un serveur DNS simple peut également être utilisé pour équilibrer la charge des connexions clientes entre tous les points de montage du cache disponibles.

En savoir plus sur les réseaux virtuels Azure et les configurations de serveur DNS dans la résolution de noms pour les ressources dans les réseaux virtuels Azure.

Accès NTP

HPC Cache a besoin d’accéder à un serveur NTP pour une opération régulière. Si vous limitez le trafic sortant de vos réseaux virtuels, veillez à autoriser le trafic vers au moins un serveur NTP. Le serveur par défaut est time.windows.com et le cache contacte ce serveur sur le port UDP 123.

Créez une règle dans le groupe de sécurité réseau de votre réseau de cache qui autorise le trafic sortant vers votre serveur NTP. La règle peut simplement autoriser tout le trafic sortant sur le port UDP 123 ou avoir plus de restrictions.

Cet exemple ouvre explicitement le trafic sortant vers l’adresse IP 168.61.215.74, qui est l’adresse utilisée par time.windows.com.

Assurez-vous que la règle NTP a une priorité supérieure à toutes les règles qui refusent largement l’accès sortant.

Autres conseils pour l’accès NTP :

• Si vous avez des pare-feu entre votre cache HPC et le serveur NTP, assurez-vous que ces pare-feu autorisent également l’accès NTP.

• Vous pouvez configurer le serveur NTP que votre cache HPC utilise sur la page Mise en réseau . Pour plus d’informations, consultez Configurer des paramètres supplémentaires .

Accès à Azure Queue Storage

Le cache doit pouvoir accéder de manière sécurisée au Azure Queue Storage à partir de son sous-réseau dédié. Azure HPC Cache utilise le service files d’attente lors de la communication des informations de configuration et d’état.

Si le cache ne peut pas accéder au service de file d’attente, un message CacheConnectivityError peut s’afficher lors de la création du cache.

Il existe deux façons de fournir l’accès :

• Créez un point de terminaison de service Stockage Azure dans votre sous-réseau de cache. Lisez Ajouter un sous-réseau de réseau virtuel pour obtenir des instructions pour ajouter le point de terminaison du service Microsoft.Storage .

• Configurez individuellement l’accès au domaine du service de file d’attente stockage Azure dans votre groupe de sécurité réseau ou d’autres pare-feu.

  Ajoutez des règles pour autoriser l’accès sur ces ports :

  • Port TCP 443 pour sécuriser le trafic vers n’importe quel hôte du domaine queue.core.windows.net (*.queue.core.windows.net).

  • Port TCP 80 : utilisé pour la vérification du certificat côté serveur. Il s’agit parfois de la vérification de la liste de révocation de certificats (CRL) et des communications OCSP (Online Certificate Status Protocol). Toutes les *.queue.core.windows.net utilisent le même certificat, et ainsi les mêmes serveurs CRL/OCSP. Le nom d’hôte est stocké dans le certificat SSL côté serveur.

  Pour plus d’informations, consultez les consignes des règles de sécurité dans l’accès NTP.

  Cette commande répertorie les serveurs CRL et OCSP qui doivent être autorisés à accéder. Ces serveurs doivent être résolus par DNS et accessibles sur le port 80 à partir du sous-réseau du cache.

  
  openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
  
  

  La sortie ressemble à ceci et peut changer si le certificat SSL est mis à jour :

  OCSP - URI:http://ocsp.msocsp.com
  CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  

Vous pouvez vérifier la connectivité du sous-réseau à l’aide de cette commande à partir d’une machine virtuelle de test à l’intérieur du sous-réseau :

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Une connexion réussie donne cette réponse :

OCSP Response Status: successful (0x0)

Accès au serveur d’événements

Azure HPC Cache utilise des points de terminaison de serveur d’événements Azure pour surveiller l’intégrité du cache et envoyer des informations de diagnostic.

Assurez-vous que le cache peut accéder en toute sécurité aux hôtes du domaine events.data.microsoft.com , c’est-à-dire ouvrir le port TCP 443 pour le trafic vers *.events.data.microsoft.com.

autorisations

Vérifiez ces prérequis liés aux autorisations avant de commencer à créer votre cache.

• L’instance de cache doit être en mesure de créer des interfaces réseau virtuelles. L’utilisateur qui crée le cache doit disposer de privilèges suffisants dans l’abonnement pour créer des cartes réseau.

• Si vous utilisez le stockage Blob, Azure HPC Cache a besoin d’une autorisation pour accéder à votre compte de stockage. Utilisez le contrôle d’accès en fonction du rôle Azure (Azure RBAC) pour permettre au cache d’accéder à votre stockage Blob. Deux rôles sont requis : Contributeur de compte de stockage et Contributeur aux données Blob de stockage.

  Suivez les instructions de l’instruction Ajouter des cibles de stockage pour ajouter les rôles.

Infrastructure de stockage

Le cache prend en charge les conteneurs Azure Blob, les exportations de stockage matériel NFS et les conteneurs ADLS montés via NFS. Ajoutez des cibles de stockage après avoir créé le cache.

Chaque type de stockage a des prérequis spécifiques.

Configuration requise pour le stockage d’objets blob

Si vous souhaitez utiliser le stockage Blob Azure avec votre cache, vous avez besoin d’un compte de stockage compatible et d’un conteneur d’objets blob vides ou d’un conteneur rempli avec des données mises en forme Azure HPC Cache, comme décrit dans Déplacer des données vers le stockage Blob Azure.

Créez le compte avant de tenter d’ajouter une cible de stockage. Vous pouvez créer un conteneur lorsque vous ajoutez la cible.

Pour créer un compte de stockage compatible, utilisez l’une des combinaisons suivantes :

Le compte de stockage doit être accessible à partir du sous-réseau privé de votre cache. Si votre compte utilise un point de terminaison privé ou un point de terminaison public limité à des réseaux virtuels spécifiques, veillez à activer l’accès à partir du sous-réseau du cache. (Un point de terminaison public ouvert n’est pas recommandé.)

Lisez Travailler avec des points de terminaison privés pour obtenir des conseils sur l’utilisation de points de terminaison privés avec des cibles de stockage HPC Cache.

Il est recommandé d’utiliser un compte de stockage dans la même région Azure que votre cache.

Vous devez également accorder à l’application de cache l’accès à votre compte de stockage Azure, comme indiqué dans Autorisations, ci-dessus. Suivez la procédure dans Ajouter des cibles de stockage pour donner au cache les rôles d’accès requis. Si vous n’êtes pas le propriétaire du compte de stockage, faites en sorte que le propriétaire effectue cette étape.

Exigences de stockage NFS

Si vous utilisez un système de stockage NFS (par exemple, un système NAS matériel local), vérifiez qu’il répond à ces exigences. Vous devrez peut-être utiliser les administrateurs réseau ou les gestionnaires de pare-feu pour votre système de stockage (ou centre de données) pour vérifier ces paramètres.

Vous trouverez plus d’informations dans résoudre les problèmes de configuration NAS et de cible de stockage NFS.

• Connectivité réseau : Azure HPC Cache a besoin d’un accès réseau à bande passante élevée entre le sous-réseau du cache et le centre de données du système NFS. ExpressRoute ou un accès similaire est recommandé. Si vous utilisez un VPN, vous devrez peut-être le configurer pour limiter TCP MSS à 1350 pour vous assurer que les paquets volumineux ne sont pas bloqués. Lisez les restrictions de taille des paquets VPN pour plus d’aide pour résoudre les problèmes liés aux paramètres VPN.

• Accès aux ports : le cache a besoin d’accéder à des ports TCP/UDP spécifiques sur votre système de stockage. Différents types de stockage ont des exigences de port différentes.

  Pour vérifier les paramètres de votre système de stockage, procédez comme suit.

  • Émettez une rpcinfo commande à votre système de stockage pour vérifier les ports nécessaires. La commande ci-dessous répertorie les ports et met en forme les résultats pertinents dans un tableau. (Utilisez l’adresse IP de votre système à la place de "storage_IP".)

    Vous pouvez émettre cette commande à partir de n’importe quel client Linux sur lequel l’infrastructure NFS est installée. Si vous utilisez un client à l’intérieur du sous-réseau du cluster, il peut également vous aider à vérifier la connectivité entre le sous-réseau et le système de stockage.

    rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
    

  Assurez-vous que tous les ports retournés par la rpcinfo requête autorisent le trafic illimité à partir du sous-réseau d’Azure HPC Cache.

  • Si vous ne pouvez pas utiliser la rpcinfo commande, vérifiez que ces ports couramment utilisés autorisent le trafic entrant et sortant :

    Protocol	Port	Service
    TCP/UDP	111	rpcbind
    TCP/UDP	2049	NFS
    TCP/UDP	4045	nlockmgr
    TCP/UDP	4046	monté
    TCP/UDP	4047	status

    Certains systèmes utilisent différents numéros de port pour ces services : consultez la documentation de votre système de stockage pour être sûr.

  • Vérifiez les paramètres de pare-feu pour vous assurer qu’ils autorisent le trafic sur tous ces ports requis. Veillez à vérifier les pare-feu utilisés dans Azure ainsi que les pare-feu locaux dans votre centre de données.

• Le stockage back-end NFS doit être une plateforme matérielle/logicielle compatible. Le stockage doit prendre en charge NFS Version 3 (NFSv3). Pour plus d’informations, contactez l’équipe Azure HPC Cache.

Exigences de stockage pour un objet blob monté via NFS (ADLS-NFS)

Azure HPC Cache peut également utiliser un conteneur d’objets blob monté avec le protocole NFS comme cible de stockage.

En savoir plus sur cette fonctionnalité dans la prise en charge du protocole NFS 3.0 dans le stockage Blob Azure.

Les exigences du compte de stockage diffèrent pour une cible de stockage sur blob ADLS-NFS et une cible de stockage sur blob standard. Suivez attentivement les instructions dans Monter le stockage Blob à l'aide du protocole NFS (Network File System) 3.0 pour créer et configurer le compte de stockage compatible NFS.

Il s’agit d’une vue d’ensemble générale des étapes. Ces étapes peuvent changer. Reportez-vous donc toujours aux instructionsADLS-NFS pour obtenir les détails actuels.

1. Assurez-vous que les fonctionnalités dont vous avez besoin sont disponibles dans les régions où vous prévoyez de travailler.

2. Activez la fonctionnalité de protocole NFS pour votre abonnement. Effectuez cette opération avant de créer le compte de stockage.

3. Créez un réseau virtuel sécurisé pour le compte de stockage. Vous devez utiliser le même réseau virtuel pour votre compte de stockage compatible NFS et pour votre cache HPC Azure. (N’utilisez pas le même sous-réseau que le cache.)

4. Créez le compte de stockage.

   • Au lieu d'utiliser les paramètres du compte de stockage pour un compte de stockage d’objets blob standard, suivez les instructions du document de procédure. Le type de compte de stockage pris en charge peut varier selon la région Azure.

   • Dans la section Mise en réseau, choisissez un point de terminaison privé dans le réseau virtuel sécurisé que vous avez créé (recommandé) ou choisissez un point de terminaison public disposant d’un accès restreint à partir du réseau virtuel sécurisé.

     Lisez Travailler avec des points de terminaison privés pour obtenir des conseils sur l’utilisation de points de terminaison privés avec des cibles de stockage HPC Cache.

   • N’oubliez pas de terminer la section Avancé, où vous activez l’accès NFS.

   • Donnez à l’application de cache l’accès à votre compte de stockage Azure, comme indiqué dans Autorisations, ci-dessus. Vous pouvez le faire la première fois que vous créez une cible de stockage. Suivez la procédure dans Ajouter des cibles de stockage pour donner au cache les rôles d’accès requis.

     Si vous n’êtes pas le propriétaire du compte de stockage, faites cette étape par le propriétaire.

En savoir plus sur l’utilisation de cibles de stockage ADLS-NFS avec Azure HPC Cache dans l’utilisation du stockage blob monté sur NFS avec Azure HPC Cache.

Utiliser des points de terminaison privés

Stockage Azure prend en charge les points de terminaison privés pour autoriser l’accès sécurisé aux données. Vous pouvez utiliser des points de terminaison privés avec des cibles de stockage d’objets blob montés sur Azure ou NFS.

En savoir plus sur les points de terminaison privés

Un point de terminaison privé fournit une adresse IP spécifique utilisée par HPC Cache pour communiquer avec votre système de stockage back-end. Si cette adresse IP change, le cache ne peut pas rétablir automatiquement une connexion avec le stockage.

Si vous devez modifier la configuration d’un point de terminaison privé, suivez cette procédure pour éviter les problèmes de communication entre le stockage et le cache HPC :

1. Suspendez la cible de stockage (ou toutes les cibles de stockage qui utilisent ce point de terminaison privé).
2. Apportez des modifications au point de terminaison privé et enregistrez ces modifications.
3. Remettez la cible de stockage en service avec la commande « resume ».
4. Actualisez le paramètre DNS de la cible de stockage.

Lisez Voir et gérer les cibles de stockage pour apprendre à suspendre, reprendre et réactualiser le DNS pour les cibles de stockage.

Configurer l’accès Azure CLI (facultatif)

Si vous souhaitez créer ou gérer Azure HPC Cache à partir d’Azure CLI, vous devez installer Azure CLI et l’extension hpc-cache. Suivez les instructions fournies dans Configurer Azure CLI pour Azure HPC Cache.

Étapes suivantes

• Créer une instance Azure HPC Cache à partir du portail Azure