Créer un pool de nœuds GPU entièrement managé sur Azure Kubernetes Service (AKS) (préversion)

L’exécution de charges de travail GPU NVIDIA sur Azure Kubernetes Service (AKS) vous oblige traditionnellement à installer et à gérer le pilote GPU NVIDIA, le plug-in d’appareil Kubernetes et un exportateur de métriques GPU sur chaque nœud GPU. Ces composants permettent la planification GPU, l’accès GPU au niveau du conteneur et la télémétrie, mais l’installation manuelle ou via l’opérateur GPU NVIDIA ajoute une surcharge opérationnelle.

Avec des nœuds GPU complètement managés (préversion), AKS installe et gère le pilote GPU NVIDIA, le plug-in d’appareil et l’exportateur de métriques DCGM ( Data Center GPU Manager) pour vous. La création d’un pool de nœuds GPU devient une étape unique et la capacité GPU se comporte comme n’importe quel autre pool de nœuds AKS.

Vous configurez un pool de nœuds GPU managé via deux champs sous gpuProfile.nvidia:

• managementMode (Managed ou Unmanaged) contrôle si AKS installe la pile GPU managée complète (pilote, plug-in d’appareil et exportateur de métriques DCGM) ou le pilote uniquement. La valeur par défaut est Unmanaged.
• migStrategy(None, Single, ou Mixed) définit la stratégie GPU multi-instance (MIG) pour les GPU compatibles tels que A100 et H100. La valeur par défaut est None.

Dans cet article, vous approvisionnez un pool de nœuds GPU managé, activez éventuellement MIG, vérifiez la pile et exécutez un exemple de charge de travail GPU.

Avant de commencer

• Cet article suppose que vous disposez d’un cluster AKS. Si vous n'avez pas de cluster, créez-en un à l'aide d'Azure CLI, d'Azure PowerShell ou du portail Azure.
• Vous avez besoin de la Azure CLI version 2.85.0 ou ultérieure installée. Pour connaître la version, exécutez az --version. Si vous devez installer ou mettre à niveau, voir Installer Azure CLI.
• Vous devez installer et mettre à niveau vers la dernière version de l’extensionaks-preview.
• Obtenez les informations d’identification de votre cluster AKS avec az aks get-credentials avant d’exécuter les exemples kubectl de cet article.

Composants GPU managés

Un pool de nœuds GPU managé peut inclure les composants suivants sur chaque nœud :

Installer des profils

Deux gpuProfile champs déterminent quels composants AKS installe :

• gpuProfile.driver (Install ou None) : si AKS installe le pilote GPU NVIDIA.
• gpuProfile.nvidia.managementMode (Managed ou Unmanaged) : si AKS installe la pile GPU orientée vers Kubernetes en plus du pilote.

Ensemble, ils produisent trois profils d’installation :

Valeurs par défaut et remplacements

• Valeurs par défaut : si vous ne passez pas --enable-managed-gpu ou --gpu-driver, AKS applique le profil Pilote uniquement sur le pool de nœuds créé avec une taille de machine virtuelle NVIDIA équipée d'un GPU.
• Remplacement : managementMode: Managed requiert le pilote, donc --gpu-driver None est ignoré lorsque --enable-managed-gpu=true et que le pilote est toujours installé. Pour ignorer le pilote, définissez à la fois --enable-managed-gpu=false et --gpu-driver None.
• Immuabilité : managementMode, migStrategyet driver sont tous fixes au moment de la création. Pour changer de profil, créez un nouvel ensemble de nœuds.

Installez l’extension CLI aks-preview

1. Installez l’extension CLI aks-preview à l’aide de la commande az extension add. La version 19.0.0b29 ou ultérieure est requise.

   az extension add --name aks-preview
   

2. Mettez à jour l’extension pour vous assurer que la dernière version est installée à l’aide de la commande az extension update.

   az extension update --name aks-preview
   

Inscrire l’indicateur de fonctionnalité ManagedGPUExperiencePreview

Inscrivez l’indicateur de fonctionnalité ManagedGPUExperiencePreview dans votre abonnement à l’aide de la commande az feature register.

az feature register --namespace Microsoft.ContainerService --name ManagedGPUExperiencePreview

Limites

• Cette fonctionnalité prend actuellement en charge uniquement les tailles de machines virtuelles compatibles GPU NVIDIA .
• La mise à jour d’un pool de nœuds à usage général pour ajouter une taille de machine virtuelle GPU n’est pas prise en charge sur AKS.
• Les pools de nœuds Windows ne sont pas pris en charge avec cette fonctionnalité, car les métriques GPU ne sont pas supportées. Lorsque vous créez Windows pools de nœuds GPU, AKS installe et gère automatiquement les pilotes et le plug-in d’appareil DirectX. Pour plus d’informations, consultez la documentation AKS Windows GPU.
• La migration de vos pools de nœuds GPU multi-instances existants pour utiliser cette fonctionnalité n’est pas prise en charge.
• Les mises à niveau sur place d’un pool de nœuds GPU NVIDIA existant vers un pool de nœuds GPU managé ne sont pas prises en charge. Pour migrer, mettre en cordon et vider vos nœuds GPU existants, puis redéployer vos charges de travail vers un nouveau pool de nœuds GPU créé avec --enable-managed-gpu=true. Pour plus d’informations, consultez Redimensionner les pools de nœuds sur AKS.
• Les managementMode, migStrategy et driver champs sous gpuProfile sont immuables après la création du pool de nœuds. Pour modifier ces valeurs, créez un pool de nœuds.
• L’autoscaler de cluster n’est pas pris en charge sur les pools de nœuds GPU managés pendant la préversion. Mettez à l’échelle ces groupes de ressources manuellement.

Créer un pool de nœuds GPU géré par AKS (préversion)

Ajoutez un pool de nœuds GPU managé à un cluster AKS existant en passant --enable-managed-gpu=true à az aks nodepool add. AKS configure gpuProfile.nvidia.managementMode sur Managed et installe automatiquement le pilote GPU, le plugin de périphérique et l'exportateur DCGM de métriques.

Créer un pool de nœuds GPU multi-instance managé (MIG) (préversion)

Pour les références SKU GPU qui prennent en charge le GPU multi-instance (par exemple, A100 et H100), configurez une stratégie MIG lors de la création du pool de nœuds avec l’indicateur --gpu-mig-strategy . La stratégie contrôle la façon dont les partitions MIG sont exposées à Kubernetes :

• Single: toutes les instances MIG sont agrégées sous la ressource standard nvidia.com/gpu .
• Mixed: chaque profil MIG est exposé en tant que ressource distincte, telle que nvidia.com/mig-1g.10gb.
• None (valeur par défaut) : MIG n’est pas configuré.

Le migStrategy champ est immuable une fois le pool de nœuds créé.

Pour plus d’informations sur le partitionnement MIG, les tailles de machine virtuelle prises en charge et les profils d’instance GPU, consultez Créer un pool de nœuds GPU multi-instances dans AKS et NVIDIA Multi-Instance GPU.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Single

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Mixed

Vérifiez le pool de nœuds GPU géré (préversion)

Une fois le pool de nœuds prêt, exécutez les vérifications suivantes pour vérifier que la pile managée complète est installée et saine.

1. Vérifiez les conditions de nœud spécifiques au GPU à partir du Détecteur de problèmes de nœud (NPD) :

   GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
   kubectl describe node $GPU_NODE
   

   Sur un nœud GPU managé, les conditions suivantes doivent tous deux signaler False:

   Pathologie	État	Reason
   UnhealthyNvidiaDevicePlugin	False	HealthyNvidiaDevicePlugin
   UnhealthyNvidiaDCGMServices	False	HealthyNvidiaDCGMServices

2. Vérifiez que l’étiquette GPU managée est présente sur le nœud :

   kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
   

   Sortie attendue : enabled.

3. Vérifiez que les ressources GPU sont publiées dans les ressources allocatables du nœud :

   kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
   

   Pour un pool de nœuds non-MIG, la sortie inclut "nvidia.com/gpu": "1" (ou plus, selon la référence SKU). Pour un pool de nœuds MIG Mixed, la sortie inclut des ressources spécifiques du MIG telles que "nvidia.com/mig-1g.10gb": "7".

4. Exécutez un exemple de charge de travail pour confirmer l’accès GPU à partir d’un conteneur :

   apiVersion: v1
   kind: Pod
   metadata:
     name: managed-gpu-test
   spec:
     restartPolicy: Never
     tolerations:
       - key: "sku"
         operator: "Equal"
         value: "gpu"
         effect: "NoSchedule"
     containers:
     - name: gpu-test
       image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
       command: ["nvidia-smi"]
       resources:
         limits:
           nvidia.com/gpu: 1
   

   Consultez les journaux des pods pour voir nvidia-smi la sortie montrant le périphérique GPU, la version du pilote et la version CUDA.

   kubectl logs managed-gpu-test
   

Mettre à l’échelle un pool de nœuds GPU géré (aperçu)

Mettre à l’échelle manuellement un pool de nœuds GPU managé avec az aks nodepool scale. Les nouveaux nœuds installent la pile GPU managée complète.

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 2

Autres profils d’installation

Si le profil de pile managée complète n’est pas adapté, AKS prend en charge deux profils alternatifs sur les pools de nœuds GPU.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC6s_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC6s_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false \
    --gpu-driver None

Étapes suivantes

• Déployez un exemple de charge de travail GPU sur vos nœuds avec GPU gérés par AKS.
• Découvrez l’utilisation du GPU et les métriques de performances de l’exportateur NVIDIA DCGM managé sur votre pool de nœuds GPU.

Articles connexes

• Utilisez des GPU NVIDIA sur AKS pour l’expérience GPU standard (non managée).
• Créez un pool de nœuds GPU à plusieurs instances pour obtenir un arrière-plan sur le partitionnement MIG et les tailles de machine virtuelle prises en charge.
• Opérateur GPU NVIDIA pour gérer les pilotes GPU et le plug-in de périphérique.
• Surveillez les métriques GPU à partir de l’exportateur NVIDIA DCGM managé.
• Surveillance de l’intégrité GPU avec le Node Problem Detector (NPD) sur AKS.
• Utilisez des GPU Windows sur AKS pour les pools de nœuds GPU Windows.
• Tailles de machine virtuelle Azure GPU pour obtenir la liste complète des machines virtuelles activées pour GPU NVIDIA.
• Exécutez l’inférence distribuée sur plusieurs nœuds GPU AKS.