Início Rápido: Criar um cluster AKS (Serviço de Kubernetes do Azure) automático privado em uma rede virtual personalizada

Criar uma rede virtual

Criar uma rede virtual usando o comando az network vnet create. Crie uma sub-rede do servidor de API e uma sub-rede de cluster usando o az network vnet subnet create comando.

Ao usar uma rede virtual personalizada com o AKS Automatic, você deve criar uma sub-rede de servidor de API. O AKS delegará a sub-rede a Microsoft.ContainerService/managedClusters em seu nome, o que concede ao serviço AKS as permissões necessárias para injetar os pods do servidor de API e o balanceador de carga interno nessa sub-rede. Você não pode usar a sub-rede para nenhuma outra carga de trabalho, mas pode usá-la para vários clusters do AKS localizados na mesma rede virtual. O tamanho mínimo com suporte da sub-rede do servidor de API é /28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name userNodeSubnet \
--address-prefixes 172.19.1.0/24

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name managedSystemNodeSubnet \
--address-prefixes 172.19.0.64/26

Regras de grupo de segurança de rede

Todo o tráfego dentro da rede virtual é permitido por padrão. Mas se você adicionou regras de NSG (Grupo de Segurança de Rede) para restringir o tráfego entre sub-redes diferentes, verifique se as regras de segurança do NSG permitem os seguintes tipos de comunicação:

Criar uma identidade gerenciada e conceder a ela permissões na rede virtual

Crie uma identidade gerenciada usando o comando az identity create e recupere a ID principal. Atribua a função Colaborador de Rede na rede virtual à identidade gerenciada usando o az role assignment create comando.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee-object-id "${IDENTITY_PRINCIPAL_ID}" \
--assignee-principal-type ServicePrincipal

Criar um cluster automático do AKS privado em uma rede virtual personalizada

Para criar um cluster automático do AKS privado, use o comando az aks create . Observe o uso do --enable-private-cluster sinalizador.

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--node-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/userNodeSubnet" \
--system-node-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/managedSystemNodeSubnet" 
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Após alguns minutos, o comando será concluído e retornará informações no formato JSON sobre o cluster.

Conectar-se ao cluster

Quando um cluster automático do AKS é criado como um cluster privado, o ponto de extremidade do servidor de API não tem endereço IP público. Para gerenciar o servidor de API, por exemplo, por meio de kubectl, você precisa se conectar por meio de um computador que tenha acesso à rede virtual Azure do cluster. Existem várias opções para estabelecer a conectividade de rede com o cluster privado:

• Crie uma máquina virtual na mesma rede virtual que o cluster AKS Automatic usando o comando az vm create com a flag --vnet-name.
• Use uma máquina virtual em uma rede virtual separada e configure o emparelhamento de rede virtual.
• Use uma rota expressa ou uma conexão VPN.
• Use uma conexão de ponto de extremidade privado.

Criar uma máquina virtual na mesma rede virtual que o cluster do AKS é a opção mais fácil. ExpressRoute e VPNs adicionam custos e exigem outra complexidade de rede. O emparelhamento de rede virtual exige que você planeje os intervalos de CIDR de rede para garantir que não haja intervalos sobrepostos. Para obter mais informações, consulte Opções para se conectar ao cluster privado.

Para gerenciar um cluster do Kubernetes, use o cliente de linha de comando do Kubernetes, kubectl. kubectl já está instalado se você usar Azure Cloud Shell. Para instalar o kubectl localmente, use o comando az aks install-cli. Os clusters automáticos do AKS são configurados com Microsoft Entra ID para controle de acesso baseado em funções do Kubernetes (RBAC).

Quando você cria um cluster usando o CLI do Azure, o usuário é atribuído a funções internas para Serviço de Kubernetes do Azure RBAC Cluster Admin.

Configure o kubectl para se conectar ao cluster do Kubernetes usando o comando az aks get-credentials. Este comando baixa as credenciais e configura a CLI do Kubernetes para usá-las.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Verifique a conexão com o cluster usando o comando kubectl get. Esse comando retorna uma lista dos nós de cluster.

kubectl get nodes

O exemplo de saída a seguir mostra como você será solicitado a fazer login.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Depois de fazer login, a saída de exemplo a seguir mostra os conjuntos de nós do sistema gerenciado. Verifique se que o status do nó é Pronto.

NAME                           STATUS   ROLES    AGE   VERSION
aks-hostedpool-16652789-vms1   Ready    <none>   19m   v1.34.7
aks-hostedpool-16652789-vms2   Ready    <none>   19m   v1.34.7
aks-hostedpool-16652789-vms3   Ready    <none>   19m   v1.34.7
aks-system-surge-zq4d2         Ready    <none>   19m   v1.34.7

Criar uma rede virtual

Esse arquivo Bicep define uma rede virtual.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the user node subnet.')
param userNodeSubnetName string = 'userNodeSubnet'

@description('The subnet prefix of the user node subnet.')
param userNodeSubnetPrefix string = '172.19.1.0/24'

@description('The name of the system node subnet.')
param systemNodeSubnetName string = 'systemNodeSubnet'

@description('The subnet prefix of the system node subnet.')
param systemNodeSubnetPrefix string = '172.19.0.64/26'

// Virtual network with an API server subnet, a user node subnet, and a system node subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: userNodeSubnetName
                properties: {
                    addressPrefix: userNodeSubnetPrefix
                }
            }
            {
                name: systemNodeSubnetName
                properties: {
                    addressPrefix: systemNodeSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output userNodeSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, userNodeSubnetName)
output systemNodeSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, systemNodeSubnetName)

Salve o arquivo Bicep virtualNetwork.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Todo o tráfego dentro da rede virtual é permitido por padrão. Mas se você adicionou regras de NSG (Grupo de Segurança de Rede) para restringir o tráfego entre sub-redes diferentes, verifique se as regras de segurança do NSG permitem os seguintes tipos de comunicação:

Criar uma identidade gerenciada

Esse arquivo Bicep define uma identidade gerenciada atribuída pelo usuário.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Salve o arquivo Bicep uami.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Atribuir a função Colaborador de rede na rede virtual

Esse arquivo Bicep define atribuições de função sobre a rede virtual.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Salve o arquivo Bicep roleAssignments.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure. Você precisa fornecer a ID da entidade de segurança da identidade atribuída pelo usuário.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Criar um cluster automático do AKS privado em uma rede virtual personalizada

Este arquivo Bicep define o cluster AKS Automatic.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksPrivateAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the user node subnet.')
param userNodeSubnetId string

@description('The resource ID of the system node subnet.')
param systemNodeSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
    hostedSystemProfile: {
      systemNodeSubnetID: systemNodeSubnetId
      nodeSubnetID: userNodeSubnetId
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Salve o arquivo Bicep aks.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure. Você precisa fornecer a ID do recurso de sub-rede do servidor de API, a ID do recurso de sub-rede do nó de usuário, a ID do recurso de sub-rede do nó do sistema e a ID do recurso de identidade gerenciada atribuída pelo usuário.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters nodeSubnetId=<user node subnet resource id> \
--parameters systemNodeSubnetId=<system node subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Conectar-se ao cluster

Quando um cluster automático do AKS é criado como um cluster privado, o ponto de extremidade do servidor de API não tem endereço IP público. Para gerenciar o servidor de API, por exemplo, por meio de kubectl, você precisa se conectar por meio de um computador que tenha acesso à rede virtual Azure do cluster. Existem várias opções para estabelecer a conectividade de rede com o cluster privado:

• Crie uma máquina virtual na mesma rede virtual que o cluster AKS Automatic usando o comando az vm create com a flag --vnet-name.
• Use uma máquina virtual em uma rede virtual separada e configure o emparelhamento de rede virtual.
• Use uma rota expressa ou uma conexão VPN.
• Use uma conexão de ponto de extremidade privado.

Criar uma máquina virtual na mesma rede virtual que o cluster do AKS é a opção mais fácil. As VPNs e a Rota Expressa adicionam custos e exigem mais complexidade de rede. O emparelhamento de rede virtual exige que você planeje os intervalos de CIDR de rede para garantir que não haja intervalos sobrepostos. Para obter mais informações, consulte Opções para se conectar ao cluster privado.

Para gerenciar um cluster do Kubernetes, use o cliente de linha de comando do Kubernetes, kubectl. kubectl já está instalado se você usar Azure Cloud Shell. Para instalar o kubectl localmente, use o comando az aks install-cli. Os clusters automáticos do AKS são configurados com Microsoft Entra ID para controle de acesso baseado em funções do Kubernetes (RBAC).

Configure o kubectl para se conectar ao cluster do Kubernetes usando o comando az aks get-credentials. Este comando baixa as credenciais e configura a CLI do Kubernetes para usá-las.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Verifique a conexão com o cluster usando o comando kubectl get. Esse comando retorna uma lista dos nós de cluster.

kubectl get nodes

O exemplo de saída a seguir mostra como você será solicitado a fazer login.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Depois de fazer login, a saída de exemplo a seguir mostra os conjuntos de nós do sistema gerenciado. Verifique se que o status do nó é Pronto.

NAME                           STATUS   ROLES    AGE   VERSION
aks-hostedpool-16652789-vms1   Ready    <none>   19m   v1.34.7
aks-hostedpool-16652789-vms2   Ready    <none>   19m   v1.34.7
aks-hostedpool-16652789-vms3   Ready    <none>   19m   v1.34.7
aks-system-surge-zq4d2         Ready    <none>   19m   v1.34.7