Implantar Azure Databricks em sua rede virtual Azure (injeção de VNet)

Implante o Azure Databricks em sua VNet no Azure para habilitar a personalização de rede, a conectividade segura com serviços Azure e fontes de dados locais, além de recursos de inspeção de tráfego.

Por que usar a injeção de VNet

A injeção de VNet implanta recursos clássicos do Azure Databricks no plano de computação em sua própria VNet, habilitando:

• Conectividade privada com serviços do Azure usando pontos de extremidade de serviço ou pontos de extremidade privados
• Acesso local por meio de rotas definidas pelo usuário
• Inspeção de tráfego com dispositivos virtuais de rede
• Configuração de DNS personalizada
• Controle de tráfego de saída utilizando regras adicionais de NSG
• Intervalos CIDR flexíveis (VNet: de /16 a /24, sub-rede: até /26)

Requisitos de permissões

Permissões do Azure: o criador do workspace deve ter a função de colaborador de Rede na VNet, ou uma função personalizada com permissões Microsoft.Network/virtualNetworks/subnets/join/action e Microsoft.Network/virtualNetworks/subnets/write.

Configuração da VNet

1. Você deve configurar uma VNet para implantar o workspace Azure Databricks. Você pode usar uma VNet existente ou criar uma nova. A VNet deve atender aos seguintes requisitos:
   • Region: a VNet deve residir na mesma região que o workspace Azure Databricks.
   • Subscription: a VNet deve estar na mesma assinatura do workspace Azure Databricks.
   • Espaço de endereço: um bloco CIDR entre /16 e /24 para a VNet. Para obter diretrizes sobre o número máximo de nós no cluster com base no tamanho da VNet, consulte Diretrizes de espaço de endereço.
   • Subnets: a VNet deve incluir duas sub-redes dedicadas ao workspace Azure Databricks:
     • Uma sub-rede de contêiner (às vezes chamada de sub-rede privada)
     • Uma sub-rede de host (às vezes chamada de sub-rede pública)
     • Cada sub-rede deve usar um bloco CIDR que seja pelo menos /26. O Databricks não recomenda uma sub-rede menor que /26.
     • Você não pode compartilhar sub-redes entre workspaces ou implantar outros recursos Azure nas sub-redes usadas pelo workspace Azure Databricks.
     • Recomendamos que o tamanho das sub-redes seja o mesmo.
   • Conectividade de saída para tráfego de saída: o Databricks recomenda usar um gateway NAT Azure para ambas as sub-redes para IPs de saída estáveis. Após 31 de março de 2026, novas VNets exigem métodos explícitos de conectividade de saída. Confira a conectividade segura do cluster.
   • Regras do grupo de segurança de rede: consulte as regras do grupo de segurança de rede

Diretrizes de espaço de endereço

Um workspace Azure Databricks requer duas sub-redes na VNet: uma sub-rede de contêiner e uma sub-rede de host. Azure reserva cinco IPs em cada sub-rede. Azure Databricks requer dois endereços IP para cada nó de cluster: um para o host na sub-rede correspondente e outro para o contêiner na sua sub-rede.

Considere o seguinte ao planejar seu espaço de endereço:

• Talvez você queira criar vários workspaces em uma única VNet. Como você não pode compartilhar sub-redes entre workspaces, planeje sub-redes de modo a não utilizar todo o espaço de endereço da VNet.
• Aloque espaço de endereço para duas novas sub-redes que estão dentro do espaço de endereço da VNet e não se sobreponham ao espaço de endereço das sub-redes atuais ou futuras nessa VNet.

Um workspace com uma rede virtual pequena pode ficar sem endereços IP (espaço de rede) mais rapidamente do que um workspace com uma rede virtual grande. Use um bloco CIDR entre /16 e /24 para a VNet e um bloco CIDR até /26 para as duas sub-redes (a sub-rede de contêiner e a sub-rede de host). Você pode criar um bloco CIDR até /28 para suas sub-redes, no entanto, Azure Databricks não recomenda uma sub-rede menor que /26.

Etapa 1: Criar um workspace

Crie um workspace no portal Azure e implante-o em sua VNet.

1. No portal Azure, selecione + Criar um recurso > Analytics > Azure Databricks ou pesquise Azure Databricks.

2. Na guia Rede , selecione sua VNet.

   Importante

   Se a VNet não aparecer, verifique se o workspace e a VNet estão na mesma região Azure.

3. Configurar sub-redes com intervalos CIDR até /26 (no máximo 80 caracteres para nomes):

   • Sub-redes existentes: insira nomes exatos de sub-rede e intervalos de IP correspondentes
   • Novas sub-redes: insira novos nomes e intervalos de IP no espaço de endereço da VNet

   Observação

   Os intervalos CIDR de sub-rede não podem ser alterados após a implantação. Azure Databricks configura automaticamente as regras NSG e a delegação de sub-rede para Microsoft.Databricks/workspaces.

4. Clique em Criar para implantar o workspace.

Etapa 2: Verifique a implantação da área de trabalho

1. Acesse o portal do Azure e navegue até o seu recurso de workspace do Azure Databricks.

2. Na página Visão geral , verifique o seguinte:

   • O workspace está em um bom estado (não falhou).
   • O grupo de recursos e o grupo de recursos gerenciados estão listados.
   • A conexão de rede virtual está desabilitada (isso é esperado para a injeção de VNet).

O grupo de recursos gerenciados não é modificável e não pode ser usado para criar máquinas virtuais. Crie máquinas virtuais no grupo de recursos que você gerencia.

Etapa 3: Verificar a configuração do grupo de segurança de rede

1. No portal Azure, navegue até sua VNet.

2. Clique em Sub-redes em Configurações.

3. Verifique se a sub-rede do contêiner e a sub-rede do host têm:

   • Um grupo de segurança de rede anexado
   • Delegação para Microsoft.Databricks/workspaces

4. Clique no grupo de segurança de rede e verifique se as regras de entrada e saída necessárias estão configuradas. Para as regras esperadas, consulte a referência de regras do grupo de segurança de rede.

Etapa 4: Criar um cluster

Depois de criar seu workspace, crie um cluster de computação clássico para verificar se a injeção de VNet está funcionando corretamente.

1. Vá para o seu espaço de trabalho do Azure Databricks e clique em Iniciar Espaço de Trabalho na página Visão Geral.

2. Clique em Computação na barra lateral.

3. Na página Computação, clique em Criar Cluster.

4. Insira um nome de cluster, deixe os valores restantes em seu estado padrão e clique em Criar Cluster.

Depois que o cluster é executado, o grupo de recursos gerenciado contém novas máquinas virtuais, discos, endereços IP e interfaces de rede. Uma interface de rede é criada em cada uma das sub-redes públicas e privadas com endereços IP.

Etapa 5: verificar a configuração da rede do cluster

1. No seu workspace do Azure Databricks, vá até o grupo de recursos gerenciados no portal do Azure.

2. Verifique se os seguintes recursos existem:

   • Máquinas virtuais para os nós de cluster
   • Discos anexados às máquinas virtuais
   • Endereços IP para os nós de cluster
   • Interfaces de rede nas sub-redes pública e privada

3. No workspace Azure Databricks, clique no cluster que você criou.

4. Navegue até a interface do usuário do Spark e clique na guia Executores .

5. Verifique se os endereços do driver e dos executores estão no intervalo de sub-rede privado. Por exemplo, se a sub-rede privada for 10.179.0.0/18, o driver poderá ser 10.179.0.6 e os executores poderão ser 10.179.0.4 e 10.179.0.5. Seus endereços IP podem ser diferentes.

Endereços IP de saída estáveis

Para workspaces com conectividade de cluster segura e injeção de VNet, o Databricks recomenda configurar um IP público de saída estável. Os IPs estáveis habilitam listas de permissões externas para serviços como Salesforce e listas de acesso IP.

Para configurar um IP de saída estável, consulte Saída com injeção de VNet.

Regras de grupo de segurança de rede

Azure Databricks provisiona automaticamente e gerencia as regras do NSG listadas abaixo por meio da delegação de sub-rede para o serviço Microsoft.Databricks/workspaces. Essas regras são necessárias para a operação do workspace. Não modifique ou exclua essas regras.

O Databricks recomenda o uso de um NSG exclusivo para cada workspace.

Regras de grupo de segurança de rede para workspaces

Esta tabela lista as regras do grupo de segurança de rede para workspaces e inclui duas regras de grupo de segurança de entrada que são adicionadas somente se a SCC (conectividade de cluster seguro) estiver desabilitada.

Expandir a capacidade da VNet

Se a VNet do seu workspace não tem capacidade suficiente para os nós de cluster ativos, você tem duas opções:

• Atualizar a configuração da VNet: esse recurso está em Versão Prévia Pública. Consulte Atualizar a configuração de rede do espaço de trabalho.
• Expanda seu intervalo CIDR atual: Contate sua equipe de contas da Azure Databricks para solicitar um aumento no intervalo CIDR da sub-rede do workspace.