Habilite o suporte de firewall para sua conta de armazenamento do workspace

Cada workspace do Azure Databricks tem uma conta de armazenamento do Azure associada em um grupo de recursos gerenciado conhecido como a conta de armazenamento do workspace. Essa conta contém dados do sistema de workspace (resultados do trabalho, configurações do sistema e logs), a raiz do Sistema de Arquivos do Databricks e, em alguns casos, um catálogo de workspaces do Unity Catalog. Você pode limitar o acesso à sua conta de armazenamento do workspace somente para recursos e redes autorizados, usando o CLI do Azure ou o PowerShell.

Qual é o suporte de firewall para sua conta de armazenamento do workspace?

Por padrão, sua conta de armazenamento do workspace aceita conexões autenticadas de todas as redes. Quando você habilita o suporte ao firewall, Azure Databricks bloqueia o acesso à rede pública e restringe o acesso somente a recursos autorizados. Talvez você queira configurar isso se sua organização tiver políticas de Azure que exijam que as contas de armazenamento sejam privadas.

Quando o suporte ao firewall está habilitado, os serviços fora do Azure Databricks que precisam acessar a conta de armazenamento do workspace devem usar pontos de extremidade privados com Link Privado. A computação sem servidor do Azure Databricks deve usar pontos de extremidade de serviço ou pontos de extremidade privados para acessar a conta de armazenamento do espaço de trabalho.

Azure Databricks cria um conector de acesso com uma identidade gerenciada do Azure para acessar a conta de armazenamento do workspace.

Requisitos

• O espaço de trabalho deve habilitar a injeção de VNet para conexões a partir do plano de computação clássico.

• Seu espaço de trabalho deve habilitar conectividade segura de cluster (sem IP público/NPIP) para conexões do plano de computação clássico.

• Seu workspace deve estar no plano Premium.

• Você deve ter uma sub-rede separada para endpoints privados da conta de armazenamento. Isso se soma às duas principais sub-redes para a funcionalidade básica de Azure Databricks.

  A sub-rede deve estar na mesma VNet que o espaço de trabalho ou numa VNet separada que o espaço de trabalho possa aceder. Use o tamanho mínimo /28 na notação CIDR.

• Se você estiver usando o Cloud Fetch com o Microsoft Fabric serviço do Power BI, sempre deverá usar um gateway para acesso privado à conta de armazenamento do workspace ou desabilitar o Cloud Fetch. Ver Etapa 2 (recomendado): Configurar pontos de extremidade privados para VNets de cliente do Cloud Fetch.

• Para CLI do Azure ou métodos de implantação do PowerShell, você deve criar um conector de acesso do Azure Databricks e salvar o ID de recurso dele antes de habilitar o firewall de armazenamento do workspace padrão. Isso requer o uso de uma identidade gerenciada atribuída pelo sistema ou atribuída pelo usuário. Consulte Access Connector for Databricks. Você não pode usar o conector de acesso Azure Databricks no grupo de recursos gerenciados.

Conectar serviços fora do Azure Databricks à conta de armazenamento

Etapa 1: Criar endpoints privados para a conta de armazenamento

Crie dois endpoints privados para a sua conta de armazenamento do espaço de trabalho da sua VNet usada para injeção de VNet nos valores Sub-recurso de destino: dfs e blob.

1. Vá até seu espaço de trabalho.

2. Em Essentials, clique no nome do Grupo de Recursos Gerenciados.

3. Em Recursos, observe o nome da sua conta de armazenamento do workspace. O nome geralmente começa com dbstorage.

4. Na caixa de pesquisa na parte superior do portal, insira e selecione Private endpoint.

5. Clique em + Criar.

6. No campo Grupo de recursos nome, defina seu grupo de recursos.

   Importante

   Esse grupo de recursos não deverá ser o mesmo grupo de recursos gerenciado no qual a conta de armazenamento do espaço de trabalho estiver localizada.

7. No campo Nome , insira um nome exclusivo para este ponto de extremidade privado:

   • Para o primeiro ponto de extremidade privado criado para cada rede de origem, crie um ponto de extremidade DFS. Azure Databricks recomenda adicionar o sufixo -dfs-pe.
   • Para o segundo ponto de extremidade privado que cria para cada rede de origem, crie um ponto de extremidade Blob. Azure Databricks recomenda adicionar o sufixo -blob-pe.

   O campo Nome da interface de rede é preenchido automaticamente.

8. Defina o campo Região para a região do seu espaço de trabalho.

9. Clique em Avançar: Recurso.

10. No método Connection, selecione Conectar para um recurso de Azure em meu diretório.

11. Em Assinatura, selecione a assinatura na qual seu espaço de trabalho está.

12. No Tipo de Recurso, selecione Microsoft.Storage/storageAccounts.

13. No Recurso, selecione sua conta de armazenamento do workspace.

14. No recurso subordinado de destino, selecione o tipo de recurso de destino.

    • Para o primeiro ponto de extremidade privado criado para cada rede de origem, defina-o como dfs.
    • Para o segundo ponto de extremidade privado que você cria para cada rede de origem, defina como blob.

15. Clique em Next: Rede Virtual.

16. No campo Rede virtual, selecione uma VNet.

17. No campo de sub-rede, configure a sub-rede como a sub-rede separada que você possui para os pontos de extremidade privados da conta de armazenamento.

    Esse campo pode ser preenchido automaticamente com a sub-rede dos seus pontos de extremidade privados, mas talvez seja necessário definí-lo manualmente. Não use as duas sub-redes de workspace para a funcionalidade básica do workspace Azure Databricks, que normalmente são chamadas de private-subnet e public-subnet.

18. Altere a configuração de IP privado e os padrões do grupo de segurança do aplicativo, se necessário.

19. Clique em Avançar: DNS. A guia DNS é preenchida automaticamente para a assinatura correta e o grupo de recursos que você selecionou anteriormente. Altere-os se necessário.

    Observação

    Se nenhuma zona DNS privada para o tipo de sub-recurso de destino (dfs ou blob) estiver anexada à VNet do espaço de trabalho, o Azure criará uma nova zona DNS privada. Se uma zona DNS privada para esse tipo de sub-recurso já existir na VNet do workspace, Azure a selecionará automaticamente. Uma VNet pode ter apenas uma zona DNS privada por tipo de sub-recurso.

20. Clique em Avançar: Marcas e adicione tags, se desejar.

21. Clique em Avançar: Revisar + criar e revise os campos.

22. Clique em Criar.

Etapa 2 (recomendado): Configurar os pontos de extremidade privados para os VNets do cliente do Cloud Fetch

O Cloud Fetch é um mecanismo no ODBC e no JDBC que busca dados em paralelo por meio do armazenamento em nuvem para fornecer dados mais rapidamente às ferramentas de BI. Se você buscar resultados de consulta com mais de 100 MB de ferramentas de BI, provavelmente estará usando o Cloud Fetch.

Se você usar o Cloud Fetch, crie pontos de extremidade privados para a conta de armazenamento do workspace (espacial de trabalho) a partir das VNets do serviço Cloud Fetch dos seus clientes.

Para cada rede de origem para clientes do Cloud Fetch, crie dois endpoints privados que usam dois valores diferentes de sub-recurso-alvo: dfs e blob. Consulte a Etapa 1: Criar pontos de extremidade privados para a conta de armazenamento para etapas detalhadas. Nessas etapas, para o campo Rede virtual ao criar o ponto de extremidade privado, certifique-se de especificar sua VNet de origem para cada cliente do Cloud Fetch.

Etapa 3: Confirmar as aprovações do Endpoint

Depois de criar todos os pontos de extremidade privados na conta de armazenamento, verifique se eles foram aprovados. Eles podem aprovar automaticamente ou talvez seja necessário aprová-los na conta de armazenamento.

1. Vá para o seu workspace no portal do Azure.
2. Em Essentials, clique no nome do Grupo de Recursos Gerenciados.
3. Em Recursos, clique no recurso do tipo Conta de armazenamento que tem um nome que começa com dbstorage.
4. Na barra lateral, clique em Rede.
5. Clique em Conexões de Endpoint Privado.
6. Verifique o Estado da conexão para confirmar se eles dizem Aprovado ou selecione-os e clique em Aprovar.

Conexões da computação sem servidor

Quando você habilita o suporte ao firewall, a Azure Databricks automaticamente integra a conta de armazenamento do workspace a um perímetro de segurança de rede que permite a tag de serviço AzureDatabricksServerless. Isso permite que a computação sem servidor do Azure Databricks se conecte através de pontos de extremidade de serviço. Para se conectar por meio de pontos de extremidade privados, entre em contato com a sua equipe de conta Azure Databricks.

Se você quiser gerenciar seu próprio perímetro de segurança de rede, poderá desanexar o perímetro de segurança de rede provisionado Azure Databricks e anexar o seu próprio. A substituição causa uma breve pausa no serviço. Prepare com antecedência para a substituição do perímetro de segurança da rede e planeje uma janela de manutenção.

Habilitar suporte ao firewall de armazenamento usando o CLI do Azure

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo sistema, em Cloud Shell executar:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo usuário, em Cloud Shell executar:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Para desabilitar o suporte ao firewall usando o conector de acesso, em Cloud Shell executar:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Habilitar o suporte ao firewall de armazenamento usando o PowerShell

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo sistema, em Cloud Shell executar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo usuário, em Cloud Shell executar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Para desabilitar o suporte ao firewall usando o conector de acesso, em Cloud Shell executar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"