Firewallondersteuning inschakelen voor uw werkruimteopslagaccount

Elke Azure Databricks-werkruimte heeft een gekoppeld Azure opslagaccount in een beheerde resourcegroep die bekend staat als het werkruimteopslagaccount. Dit account bevat systeemgegevens voor werkruimten (taakuitvoer, systeeminstellingen en logboeken), de hoofdmap van het Databricks-bestandssysteem en in sommige gevallen een catalogus met Unity Catalog-werkruimten. U kunt de toegang tot uw werkruimteopslagaccount beperken tot alleen geautoriseerde resources en netwerken met behulp van de Azure CLI of PowerShell.

Wat is firewallondersteuning voor uw werkruimteopslagaccount?

Standaard accepteert uw werkruimteopslagaccount geverifieerde verbindingen van alle netwerken. Wanneer u firewallondersteuning inschakelt, blokkeert Azure Databricks openbare netwerktoegang en beperkt u alleen de toegang tot geautoriseerde resources. U kunt dit configureren als uw organisatie Azure beleid heeft waarvoor opslagaccounts privé moeten zijn.

Wanneer firewallondersteuning is ingeschakeld, moeten services buiten Azure Databricks die toegang moeten hebben tot het opslagaccount van de werkruimte gebruikmaken van privé-eindpunten met Private Link. Azure Databricks serverloze rekenkracht moet gebruikmaken van service-eindpunten of privé-eindpunten voor toegang tot het opslagaccount van de werkruimte.

Azure Databricks maakt een access-connector met een Azure beheerde identiteit voor toegang tot het werkruimteopslagaccount.

Vereisten

• Uw werkruimte moet VNet-injectie inschakelen voor verbindingen vanuit het klassieke rekenvlak.

• Uw werkruimte moet beveiligde clusterconnectiviteit (geen openbaar IP/NPIP) inschakelen voor verbindingen vanuit het klassieke rekenvlak.

• Uw werkruimte moet zich in het Premium-abonnement bevinden.

• U moet een afzonderlijk subnet hebben voor de privé-eindpunten voor het opslagaccount. Dit is naast de belangrijkste twee subnetten voor de basisfunctionaliteit van Azure Databricks.

  Het subnet moet zich in hetzelfde VNet bevinden als de werkruimte of in een afzonderlijk VNet waartoe de werkruimte toegang heeft. Gebruik de minimale grootte /28 in CIDR-notatie.

• Als u Cloud Fetch gebruikt met de Microsoft Fabric Power BI service, moet u altijd een VNet-gateway of on-premises gateway gebruiken voor privétoegang tot het opslagaccount van de werkruimte. Zie stap 2 (aanbevolen): Privé-eindpunten configureren voor Cloud Fetch client-VNets.

• Voor Azure CLI- of PowerShell-implementatiemethoden moet u een Azure Databricks-toegangsconnector maken en de resource-id opslaan voordat u de standaardfirewall voor werkruimteopslag inschakelt. Hiervoor moet een door het systeem toegewezen of door de gebruiker toegewezen beheerde identiteit worden gebruikt. Zie Access Connector voor Databricks. U kunt de Azure Databricks-toegangsconnector niet gebruiken in de beheerde resourcegroep.

Connect services buiten Azure Databricks naar het opslagaccount

Stap 1: Privé-eindpunten maken voor het opslagaccount

Maak twee privé-eindpunten voor uw werkruimteopslagaccount op basis van uw VNet dat u hebt gebruikt voor VNet-injectie voor de doelsubresourcewaarden : dfs en blob.

1. Ga naar uw werkruimte.

2. Klik onder Essentials op de naam van de beheerde resourcegroep.

3. Noteer onder Resourcesde naam van uw werkruimteopslagaccount. De naam begint meestal met dbstorage.

4. Voer in en selecteer in het zoekvak bovenaan de portal privé-eindpunt.

5. Klik op en maakaan.

6. Stel uw resourcegroep in het veld Resourcegroepnaam in.

   Belangrijk

   De resourcegroep mag niet hetzelfde zijn als de beheerde resourcegroep waarin uw werkruimteopslagaccount zich bevindt.

7. Voer in het veld Naam een unieke naam in voor dit privé-eindpunt:

   • Voor het eerste privé-eindpunt dat u voor elk bronnetwerk maakt, maakt u een DFS-eindpunt. Azure Databricks raadt u aan het achtervoegsel -dfs-pe toe te voegen.
   • Voor het tweede privé-eindpunt dat u voor elk bronnetwerk maakt, maakt u een Blob-eindpunt. Azure Databricks raadt u aan het achtervoegsel -blob-pe toe te voegen.

   Het veld Netwerkinterfacenaam wordt automatisch ingevuld.

8. Stel het veld Regio in op de regio van uw werkruimte.

9. Klik op Volgende: Bron.

10. Selecteer in Verbindingsmethode de optie Verbinden met een Azure-resource in mijn directory.

11. Selecteer in Abonnementhet abonnement waarin uw werkruimte zich bevindt.

12. Selecteer in ResourcetypeMicrosoft.Storage/storageAccounts.

13. Selecteer uw werkruimteopslagaccount in Resource.

14. Selecteer in doelsubresourcehet doelresourcetype.

    • Stel dit in op dfs voor het eerste privé-eindpunt dat u voor elk bronnetwerk maakt.
    • Stel dit in op blob voor het tweede privé-eindpunt dat u voor elk bronnetwerk maakt.

15. Klik op Volgende: Virtual Network.

16. Selecteer een VNet in het veld Virtueel netwerk .

17. Stel in het subnetveld het subnet in op het afzonderlijke subnet dat u hebt voor de privé-eindpunten voor het opslagaccount.

    Dit veld kan automatisch worden ingevuld met het subnet voor uw privé-eindpunten, maar mogelijk moet u dit expliciet instellen. Gebruik de twee werkruimtesubnetten niet voor de basisfunctionaliteit van Azure Databricks werkruimte. Deze worden meestal private-subnet en public-subnet genoemd.

18. Wijzig indien nodig de standaardinstellingen voor de privé-IP-configuratie en toepassingsbeveiligingsgroep .

19. Klik op Volgende: DNS. Het DNS-tabblad wordt automatisch ingevuld in het juiste abonnement en de juiste resourcegroep die u eerder hebt geselecteerd. Wijzig ze indien nodig.

    Notitie

    Als er geen privé-DNS-zone voor het doelsubresourcetype (dfs of blob) is gekoppeld aan het VNet van de werkruimte, Azure een nieuwe privé-DNS-zone maakt. Als er al een privé-DNS-zone voor dat subresourcetype bestaat in het VNet van de werkruimte, Azure deze automatisch selecteert. Een VNet kan slechts één privé-DNS-zone per subresourcetype hebben.

20. Klik op Volgende: Tags en voeg indien gewenst tags toe.

21. Klik op Volgende: Controleren en maken en controleer de velden.

22. Klik op Create.

Stap 2 (aanbevolen): Privé-eindpunten configureren voor Cloud Fetch-client-VNets

Cloud fetch is een mechanisme in ODBC en JDBC waarmee gegevens parallel worden opgehaald via cloudopslag om gegevens sneller aan BI-hulpprogramma's te leveren. Als u queryresultaten ophaalt die groter zijn dan 100 MB uit BI-hulpprogramma's, gebruikt u waarschijnlijk Cloud Fetch.

Als u Cloud Fetch gebruikt, maakt u privé-eindpunten naar het opslagaccount van de werkruimte vanuit de VNets van uw Cloud Fetch-clients.

Maak voor elk bronnetwerk voor Cloud Fetch-clients twee privé-eindpunten die gebruikmaken van twee verschillende doelsubresourcewaarden : dfs en blob. Zie stap 1: Privé-eindpunten maken voor het opslagaccount voor gedetailleerde stappen. Zorg ervoor dat u in deze stappen voor het veld Virtueel netwerk bij het maken van het privé-eindpunt uw bron-VNet opgeeft voor elke Cloud Fetch-client.

Stap 3: Eindpuntgoedkeuringen bevestigen

Nadat u alle privé-eindpunten hebt gemaakt voor het opslagaccount, controleert u of ze zijn goedgekeurd. Ze kunnen automatisch worden goedgekeurd of u moet ze mogelijk goedkeuren in het opslagaccount.

1. Ga naar uw werkruimte in de Azure-portal.
2. Klik onder Essentials op de naam van de beheerde resourcegroep.
3. Klik onder Resources op de resource van het type Storage account die een naam heeft die begint met dbstorage.
4. Klik in de zijbalk op Netwerken.
5. Klik op privé-eindpuntverbindingen.
6. Controleer de verbindingsstatus om te bevestigen dat ze goedgekeurd zijn of selecteer ze en klik op Goedkeuren.

Verbindingen van serverloze berekeningen

Wanneer u firewallondersteuning inschakelt, voegt Azure Databricks het opslagaccount van de werkruimte automatisch in een netwerkbeveiligingsgrens in waarmee de servicetag AzureDatabricksServerless wordt toegestaan. Hiermee kunt Azure Databricks serverloze rekenkracht verbinding maken via service-eindpunten. Als u verbinding wilt maken via privé-eindpunten, voegt u een privé-eindpuntregel toe aan uw NCC voor het werkruimteopslagaccount. Zie Privéconnectiviteit met Azure-resources configureren.

Als u uw eigen netwerkbeveiligingsperimeter wilt beheren, kunt u de Azure Databricks ingerichte netwerkbeveiligingsperimeter loskoppelen en uw eigen perimeter koppelen. De overschakeling zorgt voor een korte pauze in de service. Bereid uw vervangende netwerkbeveiligingsperimeter vooraf voor en plan een onderhoudsvenster.

Enable Storage Firewall-ondersteuning met behulp van de Azure CLI

• Als u firewallondersteuning wilt inschakelen met behulp van de toegangsconnector met een door het systeem toegewezen identiteit, voert u in Cloud Shell de volgende opdracht uit:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Als u firewallondersteuning wilt inschakelen met behulp van de toegangsconnector met een door de gebruiker toegewezen identiteit, voert u in Cloud Shell de volgende opdracht uit:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Als u firewallondersteuning wilt uitschakelen met behulp van de toegangsconnector, voert u Cloud Shell uit:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Ondersteuning voor opslagfirewall inschakelen met behulp van PowerShell

• Als u firewallondersteuning wilt inschakelen met behulp van de toegangsconnector met een door het systeem toegewezen identiteit, voert u in Cloud Shell de volgende opdracht uit:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Als u firewallondersteuning wilt inschakelen met behulp van de toegangsconnector met een door de gebruiker toegewezen identiteit, voert u in Cloud Shell de volgende opdracht uit:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Als u firewallondersteuning wilt uitschakelen met behulp van de toegangsconnector, voert u Cloud Shell uit:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"