Quickstart: Criar um cluster privado Azure Kubernetes Service (AKS) Automatic numa rede virtual personalizada

Criar uma rede virtual

Crie uma rede virtual usando o az network vnet create comando. Crie uma sub-rede de servidor de API e uma sub-rede de cluster usando o az network vnet subnet create comando.

Ao usar uma rede virtual personalizada com AKS Automatic, deve criar e delegar uma sub-rede de servidor API a Microsoft.ContainerService/managedClusters, que concede permissões ao serviço AKS para injetar os pods do servidor API e o balanceador de carga interno nessa subrede. Você não pode usar a sub-rede para outras cargas de trabalho, mas pode usá-la para vários clusters AKS localizados na mesma rede virtual. O tamanho mínimo suportado da sub-rede do servidor API é / 28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

Regras do grupo de segurança de rede

Todo o tráfego dentro da rede virtual é permitido por padrão. Mas se você adicionou regras do NSG (Grupo de Segurança de Rede) para restringir o tráfego entre sub-redes diferentes, certifique-se de que as regras de segurança do NSG permitam os seguintes tipos de comunicação:

Criar uma identidade gerenciada e dar-lhe permissões na rede virtual

Crie uma identidade gerenciada usando o az identity create comando e recupere o ID principal. Atribua a função de Colaborador de Rede na rede virtual à identidade gerenciada usando o az role assignment create comando.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee ${IDENTITY_PRINCIPAL_ID}

Criar um cluster privado do AKS Automatic em uma rede virtual personalizada

Para criar um cluster privado do AKS Automatic, use o comando az aks create . Observe o uso da --enable-private-cluster bandeira.

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Após alguns minutos, o comando conclui e retorna informações formatadas em JSON sobre o cluster.

Conectar-se ao cluster

Quando um cluster AKS Automatic é criado como um cluster privado, o ponto de extremidade do servidor API não tem endereço IP público. Para gerir o servidor API, por exemplo via kubectl, é necessário ligar-se através de uma máquina que tenha acesso à rede virtual Azure do cluster. Existem várias opções para estabelecer conectividade de rede com o cluster privado:

• Crie uma máquina virtual na mesma rede virtual que o cluster AKS Automatic usando o az vm create comando com o --vnet-name sinalizador.
• Use uma máquina virtual em uma rede virtual separada e configure o emparelhamento de rede virtual.
• Use uma Rota Expressa ou uma conexão VPN.
• Utilize uma conexão de ponto de extremidade privado.

Criar uma máquina virtual na mesma rede virtual que o cluster AKS é a opção mais fácil. ExpressRoute e VPNs adicionam custos e exigem complexidade de rede adicional. O emparelhamento de rede virtual requer que você planeje seus intervalos CIDR de rede para garantir que não haja intervalos sobrepostos. Consulte Opções para se conectar ao cluster privado para obter mais informações.

Para gerenciar um cluster Kubernetes, use o cliente de linha de comando Kubernetes, kubectl. kubectl já está instalado se usares Azure Cloud Shell. Para instalar kubectl localmente, execute o comando az aks install-cli . Os clusters automáticos do AKS estão configurados com Microsoft Entra ID para controlo de acesso por funções (RBAC) do Kubernetes.

Quando crias um cluster usando o CLI do Azure, o teu utilizador é atribuído papéis incorporados para Azure Kubernetes Service RBAC Cluster Admin.

Configure kubectl para se conectar ao cluster Kubernetes usando o comando az aks get-credentials. Este comando baixa credenciais e configura a CLI do Kubernetes para usá-las.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Verifique a conexão com seu cluster usando o comando kubectl get . Este comando retorna uma lista dos nós do cluster.

kubectl get nodes

A saída de exemplo a seguir mostra como você é solicitado a fazer login.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Depois de fazer login, a saída de exemplo a seguir mostra os pools de nós do sistema gerenciado. Verifique se o status do nó é Pronto.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

Criar uma rede virtual

Este ficheiro Bicep define uma rede virtual.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Guarde o ficheiro Bicep virtualNetwork.bicep para o seu computador local.

Implemente o ficheiro Bicep usando a CLI do Azure.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Todo o tráfego dentro da rede virtual é permitido por padrão. Mas se você adicionou regras do NSG (Grupo de Segurança de Rede) para restringir o tráfego entre sub-redes diferentes, certifique-se de que as regras de segurança do NSG permitam os seguintes tipos de comunicação:

Criar uma identidade gerenciada

Este ficheiro Bicep define uma identidade gerida atribuída pelo próprio utilizador.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Guardar o ficheiro Bicep uami.bicep para o seu computador local.

Implemente o ficheiro Bicep usando a CLI do Azure.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Atribuir a função de Colaborador de Rede sobre a rede virtual

Este ficheiro Bicep define atribuições de funções na rede virtual.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Guardar o ficheiro Bicep roleAssignments.bicep para o seu computador local.

Implemente o ficheiro Bicep usando a CLI do Azure. Você precisa fornecer o ID principal de identidade atribuído ao usuário.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Criar um cluster privado do AKS Automatic em uma rede virtual personalizada

Este ficheiro Bicep define o cluster automático do AKS.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Guardar o ficheiro Bicep aks.bicep para o seu computador local.

Implemente o ficheiro Bicep usando a CLI do Azure. Você precisa fornecer a ID do recurso da sub-rede do servidor API, a ID do recurso da sub-rede do cluster, e a ID principal da identidade atribuída ao utilizador.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Conectar-se ao cluster

Quando um cluster AKS Automatic é criado como um cluster privado, o ponto de extremidade do servidor API não tem endereço IP público. Para gerir o servidor API, por exemplo via kubectl, é necessário ligar-se através de uma máquina que tenha acesso à rede virtual Azure do cluster. Existem várias opções para estabelecer conectividade de rede com o cluster privado:

• Crie uma máquina virtual na mesma rede virtual que o cluster AKS Automatic usando o az vm create comando com o --vnet-name sinalizador.
• Use uma máquina virtual em uma rede virtual separada e configure o emparelhamento de rede virtual.
• Use uma Rota Expressa ou uma conexão VPN.
• Utilize uma conexão de ponto de extremidade privado.

Criar uma máquina virtual na mesma rede virtual que o cluster AKS é a opção mais fácil. A Rota Expressa e as VPNs adicionam custos e exigem complexidade de rede adicional. O emparelhamento de rede virtual requer que você planeje seus intervalos CIDR de rede para garantir que não haja intervalos sobrepostos. Consulte Opções para se conectar ao cluster privado para obter mais informações.

Para gerenciar um cluster Kubernetes, use o cliente de linha de comando Kubernetes, kubectl. kubectl já está instalado se usares Azure Cloud Shell. Para instalar kubectl localmente, execute o comando az aks install-cli . Os clusters automáticos do AKS estão configurados com Microsoft Entra ID para controlo de acesso por funções (RBAC) do Kubernetes.

Configure kubectl para se conectar ao cluster Kubernetes usando o comando az aks get-credentials. Este comando baixa credenciais e configura a CLI do Kubernetes para usá-las.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Verifique a conexão com seu cluster usando o comando kubectl get . Este comando retorna uma lista dos nós do cluster.

kubectl get nodes

A saída de exemplo a seguir mostra como você é solicitado a fazer login.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Depois de fazer login, a saída de exemplo a seguir mostra os pools de nós do sistema gerenciado. Verifique se o status do nó é Pronto.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5