Habilite o suporte de firewall para sua conta de armazenamento de espaço de trabalho

Cada espaço de trabalho do Azure Databricks tem uma conta de armazenamento do Azure associada num grupo de recursos geridos conhecido como a conta de armazenamento do espaço de trabalho . Esta conta contém dados do sistema de trabalho (saída do trabalho, definições do sistema e registos), a raiz do Sistema de Ficheiros Databricks e, em alguns casos, um catálogo de espaço de trabalho do Unity Catalog. Pode limitar o acesso à sua conta de armazenamento do espaço de trabalho apenas a recursos autorizados e redes, usando a CLI do Azure ou PowerShell.

O que é o suporte de firewall para sua conta de armazenamento de espaço de trabalho?

Por defeito, a sua conta de armazenamento do espaço de trabalho aceita ligações autenticadas de todas as redes. Quando ativa o suporte a firewalls, o Azure Databricks bloqueia o acesso à rede pública e restringe o acesso apenas a recursos autorizados. Pode querer configurar isto se a sua organização tiver políticas no Azure que exigem que as contas de armazenamento sejam privadas.

Quando o suporte a firewall está ativado, os serviços fora do Azure Databricks que precisam de aceder à conta de armazenamento do workspace devem usar endpoints privados com o Private Link. A computação serverless do Azure Databricks deve usar endpoints de serviço ou endpoints privados para aceder à conta de armazenamento do Workspace.

Azure Databricks cria um conector de acesso com uma identidade gerida da Azure para aceder à conta de armazenamento do espaço de trabalho.

Requisitos

• O seu espaço de trabalho deve habilitar a injeção de VNet para conexões do plano de computação clássico.

• Seu espaço de trabalho deve habilitar conectividade de cluster segura (Sem IP Público / NPIP) para conexões do plano de computação clássico.

• Seu espaço de trabalho deve estar no plano Premium.

• Você deve ter uma sub-rede separada para os pontos de extremidade privados da sua conta de armazenamento. Isto é além das duas subredes principais para funcionalidades básicas do Azure Databricks.

  A sub-rede deve estar na mesma VNet que o espaço de trabalho ou em uma VNet separada que o espaço de trabalho possa acessar. Use o tamanho /28 mínimo na notação CIDR.

• Se estiver a usar o Cloud Fetch com o Microsoft Fabric serviço Power BI, deve sempre usar um gateway para acesso privado à conta de armazenamento do workspace ou desativar o Cloud Fetch. Veja o Passo 2 (recomendado): Configure endpoints privados para os VNets do cliente Cloud Fetch.

• Para métodos de implementação do CLI do Azure ou PowerShell, deve criar um conector de acesso Azure Databricks e guardar o seu ID de recurso antes de ativar o firewall de armazenamento predefinido do workspace. Isso requer o uso de uma identidade gerenciada atribuída pelo sistema ou pelo usuário. Consulte Conector de Acesso para Databricks. Não podes usar o conector de acesso Azure Databricks no grupo de recursos geridos.

Conectar serviços fora do Azure Databricks à conta de armazenamento

Etapa 1: Criar pontos finais privados para a conta de armazenamento

Crie dois pontos finais privados para a conta de armazenamento do seu espaço de trabalho a partir da VNet que utilizou para injeção de VNet para os valores do sub-recurso de destino: e dfs.

1. Vá para o seu espaço de trabalho.

2. Em Essentials, clique no nome do Grupo de Recursos Geridos.

3. Em Recursos, anote o nome da sua conta de armazenamento do espaço de trabalho. O nome normalmente começa por dbstorage.

4. Na caixa de pesquisa na parte superior do portal, insira e selecione Ponto de extremidade privado.

5. Clique em + Criar.

6. No campo Nome do Grupo de Recursos, defina o seu grupo de recursos.

   Importante

   O grupo de recursos não deve ser o mesmo que o grupo de recursos gerenciados no qual sua conta de armazenamento de espaço de trabalho está.

7. No campo Nome , insira um nome único para este endpoint privado:

   • Para o primeiro ponto de extremidade privado criado para cada rede de origem, crie um ponto de extremidade DFS. Azure Databricks recomenda que adicione o sufixo -dfs-pe.
   • Para o segundo ponto de extremidade privado que criar para cada rede de origem, crie um ponto de extremidade do tipo Blob. Azure Databricks recomenda que adicione o sufixo -blob-pe.

   O campo Nome da Interface de Rede é preenchido automaticamente.

8. Defina o campo Região para a região do seu espaço de trabalho.

9. Clique em Avançar: Recurso.

10. No método Connection, selecione Connect a um recurso Azure no meu diretório.

11. Em Assinatura, selecione a assinatura em que seu espaço de trabalho está.

12. Em Tipo de recurso, selecione Microsoft. Storage/storageAccounts.

13. Em Recurso, selecione sua conta de armazenamento de espaço de trabalho.

14. Em Subrecurso de destino, selecione o tipo de recurso de destino.

    • Para o primeiro ponto de extremidade privado criado para cada rede de origem, defina isso como dfs.
    • Para o segundo ponto de extremidade privado criado para cada rede de origem, defina-o como blob.

15. Clique em Próximo: Rede Virtual.

16. No campo de rede virtual, selecione uma rede virtual.

17. No campo sub-rede, defina a sub-rede como a sub-rede separada que você tem para os pontos de extremidade privados da conta de armazenamento.

    Este campo pode preencher automaticamente a sub-rede dos seus endpoints privados, mas pode ser necessário defini-lo explicitamente. Não use as duas subredes de espaço de trabalho para funcionalidades básicas do Azure Databricks, que normalmente são chamadas private-subnet e public-subnet.

18. Altere a configuração do IP Privado e os predefinidos do grupo de segurança de aplicações , se necessário.

19. Clique em Avançar: DNS. A guia DNS é preenchida automaticamente para a assinatura correta e o grupo de recursos que você selecionou anteriormente. Altere-os, se necessário.

    Nota

    Se nenhuma zona DNS privada para o tipo de subrecurso alvo (dfs ou blob) estiver associada ao VNet do workspace, o Azure cria uma nova zona DNS privada. Se já existir uma zona DNS privada para esse tipo de subrecurso no VNet do workspace, o Azure seleciona-a automaticamente. Um VNet pode ter apenas uma zona DNS privada por tipo de sub-recurso.

20. Clique em Seguinte: Etiquetas e adicione etiquetas, se desejar.

21. Clique em Próximo: Rever + criar e verifique os campos.

22. Clique em Criar.

Passo 2 (recomendado): Configurar endpoints privados para os VNets do cliente Cloud Fetch

Cloud Fetch é um mecanismo em ODBC e JDBC que recolhe dados em paralelo através de armazenamento na cloud para entregar dados mais rapidamente às ferramentas de BI. Se obtém resultados de consulta superiores a 100 MB através de ferramentas de BI, provavelmente está a usar o Cloud Fetch.

Se usares Cloud Fetch, cria endpoints privados para a conta de armazenamento do workspace a partir dos VNets dos teus clientes Cloud Fetch.

Para cada rede de origem para os clientes do Cloud Fetch, crie dois pontos de extremidade privados que usem dois valores de sub-recurso de Target diferentes: e . Veja o Passo 1: Criar endpoints privados para a conta de armazenamento para passos detalhados. Nessas etapas, para o campo Rede virtual ao criar o ponto de extremidade privado, certifique-se de especificar a sua VNet de origem para cada cliente do Cloud Fetch.

Etapa 3: Confirmar aprovações de endpoint

Depois de criares todos os endpoints privados para a conta de armazenamento, verifica se são aprovados. Podem aprovar automaticamente, ou pode ser necessário aprová-los na conta de armazenamento.

1. Vai ao teu espaço de trabalho no portal do Azure.
2. Em Essentials, clique no nome do Grupo de Recursos Geridos.
3. Em Recursos, clique no recurso do tipo Conta de armazenamento que tem um nome que começa com dbstorage.
4. Na barra lateral, clique em Rede.
5. Clique em Conexões de ponto final privado.
6. Verifique o estado da Conexão para confirmar se indicam Aprovado ou selecione-os e clique em Aprovar.

Ligações a partir de computação sem servidor

Quando ativar o suporte ao firewall, o Azure Databricks automaticamente registra a conta de armazenamento do espaço de trabalho em um perímetro de segurança de rede que permite o tag de serviço AzureDatabricksServerless. Isto permite que a computação sem servidor do Azure Databricks se conecte através de endpoints de serviço. Para se ligar através de endpoints privados, contacte a sua equipa de contas Azure Databricks.

Se quiser gerir o seu próprio perímetro de segurança de rede, pode separar o perímetro de segurança de rede provisionado pelo Azure Databricks e anexar o seu próprio. A troca provoca uma breve pausa no serviço. Prepare com antecedência o perímetro de segurança da rede de substituição e planeie uma janela de manutenção.

Ativar o suporte a firewall de armazenamento usando a CLI do Azure

• Para permitir suporte a firewall usando o conector de acesso com identidade atribuída pelo sistema, no Cloud Shell execute:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Para permitir suporte a firewalls usando o conector de acesso com uma identidade atribuída pelo utilizador, no Cloud Shell execute:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Para desativar o suporte a firewall usando o conector de acesso, no Cloud Shell execute:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Habilitar o suporte ao firewall de armazenamento usando o PowerShell

• Para ativar suporte de firewall usando o conector de acesso com identidade atribuída pelo sistema, no Cloud Shell, execute o seguinte comando:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Para permitir suporte a firewalls usando o conector de acesso com uma identidade atribuída pelo utilizador, no Cloud Shell execute:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Para desativar o suporte a firewall usando o conector de acesso, no Cloud Shell execute:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"