Início Rápido: Criar um cluster AKS (Serviço de Kubernetes do Azure) automático privado em uma rede virtual personalizada

Criar uma rede virtual

Criar uma rede virtual usando o comando az network vnet create. Crie uma sub-rede do servidor de API e uma sub-rede de cluster usando o az network vnet subnet create comando.

Ao usar uma rede virtual personalizada com o AKS Automatic, você deve criar e delegar uma sub-rede de servidor de API para Microsoft.ContainerService/managedClusters, que concede as permissões de serviço do AKS para injetar os pods do servidor de API e o balanceador de carga interno nessa sub-rede. Você não pode usar a sub-rede para nenhuma outra carga de trabalho, mas pode usá-la para vários clusters do AKS localizados na mesma rede virtual. O tamanho mínimo com suporte da sub-rede do servidor de API é /28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

Regras de grupo de segurança de rede

Todo o tráfego dentro da rede virtual é permitido por padrão. Mas se você adicionou regras de NSG (Grupo de Segurança de Rede) para restringir o tráfego entre sub-redes diferentes, verifique se as regras de segurança do NSG permitem os seguintes tipos de comunicação:

Criar uma identidade gerenciada e conceder a ela permissões na rede virtual

Crie uma identidade gerenciada usando o comando az identity create e recupere a ID principal. Atribua a função Colaborador de Rede na rede virtual à identidade gerenciada usando o az role assignment create comando.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee ${IDENTITY_PRINCIPAL_ID}

Criar um cluster automático do AKS privado em uma rede virtual personalizada

Para criar um cluster automático do AKS privado, use o comando az aks create . Observe o uso do --enable-private-cluster sinalizador.

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Após alguns minutos, o comando será concluído e retornará informações no formato JSON sobre o cluster.

Conectar-se ao cluster

Quando um cluster automático do AKS é criado como um cluster privado, o ponto de extremidade do servidor de API não tem endereço IP público. Para gerenciar o servidor de API, por exemplo, por meio de kubectl, você precisa se conectar por meio de um computador que tenha acesso à rede virtual Azure do cluster. Existem várias opções para estabelecer a conectividade de rede com o cluster privado:

• Crie uma máquina virtual na mesma rede virtual que o cluster AKS Automatic usando o comando az vm create com a flag --vnet-name.
• Use uma máquina virtual em uma rede virtual separada e configure o emparelhamento de rede virtual.
• Use uma rota expressa ou uma conexão VPN.
• Use uma conexão de ponto de extremidade privado.

Criar uma máquina virtual na mesma rede virtual que o cluster do AKS é a opção mais fácil. O ExpressRoute e as VPNs adicionam custos e exigem complexidade de rede adicional. O emparelhamento de rede virtual exige que você planeje os intervalos de CIDR de rede para garantir que não haja intervalos sobrepostos. Consulte opções para se conectar ao cluster privado para obter mais informações.

Para gerenciar um cluster do Kubernetes, use o cliente de linha de comando do Kubernetes, kubectl. kubectl já está instalado se você usar Azure Cloud Shell. Para instalar o kubectl localmente, use o comando az aks install-cli. Os clusters automáticos do AKS são configurados com Microsoft Entra ID para controle de acesso baseado em funções do Kubernetes (RBAC).

Quando você cria um cluster usando o CLI do Azure, o usuário é atribuído a funções internas para Serviço de Kubernetes do Azure RBAC Cluster Admin.

Configure o kubectl para se conectar ao cluster do Kubernetes usando o comando az aks get-credentials. Este comando baixa as credenciais e configura a CLI do Kubernetes para usá-las.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Verifique a conexão com o cluster usando o comando kubectl get. Esse comando retorna uma lista dos nós de cluster.

kubectl get nodes

A saída de exemplo a seguir mostra como você é solicitado a fazer login.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Depois que você fizer logon, a saída de exemplo a seguir mostrará os pools de nós do sistema gerenciado. Verifique se que o status do nó é Pronto.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

Criar uma rede virtual

Esse arquivo Bicep define uma rede virtual.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Salve o arquivo Bicep virtualNetwork.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Todo o tráfego dentro da rede virtual é permitido por padrão. Mas se você adicionou regras de NSG (Grupo de Segurança de Rede) para restringir o tráfego entre sub-redes diferentes, verifique se as regras de segurança do NSG permitem os seguintes tipos de comunicação:

Criar uma identidade gerenciada

Esse arquivo Bicep define uma identidade gerenciada atribuída pelo usuário.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Salve o arquivo Bicep uami.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Atribuir a função Colaborador de rede na rede virtual

Esse arquivo Bicep define atribuições de função sobre a rede virtual.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Salve o arquivo Bicep roleAssignments.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure. Você precisa fornecer a ID da entidade de segurança da identidade atribuída pelo usuário.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Criar um cluster automático do AKS privado em uma rede virtual personalizada

Este arquivo Bicep define o cluster AKS Automatic.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Salve o arquivo Bicep aks.bicep ao computador local.

Implante o arquivo Bicep usando o CLI do Azure. Você precisa fornecer o ID do recurso da sub-rede do servidor de API, o ID do recurso da sub-rede do cluster e o ID principal da identidade atribuída pelo usuário.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Conectar-se ao cluster

Quando um cluster automático do AKS é criado como um cluster privado, o ponto de extremidade do servidor de API não tem endereço IP público. Para gerenciar o servidor de API, por exemplo, por meio de kubectl, você precisa se conectar por meio de um computador que tenha acesso à rede virtual Azure do cluster. Existem várias opções para estabelecer a conectividade de rede com o cluster privado:

• Crie uma máquina virtual na mesma rede virtual que o cluster AKS Automatic usando o comando az vm create com a flag --vnet-name.
• Use uma máquina virtual em uma rede virtual separada e configure o emparelhamento de rede virtual.
• Use uma rota expressa ou uma conexão VPN.
• Use uma conexão de ponto de extremidade privado.

Criar uma máquina virtual na mesma rede virtual que o cluster do AKS é a opção mais fácil. A rota expressa e as VPNs adicionam custos e exigem complexidade adicional de rede. O emparelhamento de rede virtual exige que você planeje os intervalos de CIDR de rede para garantir que não haja intervalos sobrepostos. Consulte opções para se conectar ao cluster privado para obter mais informações.

Para gerenciar um cluster do Kubernetes, use o cliente de linha de comando do Kubernetes, kubectl. kubectl já está instalado se você usar Azure Cloud Shell. Para instalar o kubectl localmente, use o comando az aks install-cli. Os clusters automáticos do AKS são configurados com Microsoft Entra ID para controle de acesso baseado em funções do Kubernetes (RBAC).

Configure o kubectl para se conectar ao cluster do Kubernetes usando o comando az aks get-credentials. Este comando baixa as credenciais e configura a CLI do Kubernetes para usá-las.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Verifique a conexão com o cluster usando o comando kubectl get. Esse comando retorna uma lista dos nós de cluster.

kubectl get nodes

A saída de exemplo a seguir mostra como você é solicitado a fazer login.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Depois que você fizer logon, a saída de exemplo a seguir mostrará os pools de nós do sistema gerenciado. Verifique se que o status do nó é Pronto.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5