Habilitar compatibilidad con el firewall para la cuenta de almacenamiento de su área de trabajo

Cada área de trabajo de Azure Databricks tiene asociada una cuenta de almacenamiento Azure en un grupo de recursos administrado conocido como la cuenta de almacenamiento workspace. Esta cuenta contiene datos del sistema del área de trabajo (salida del trabajo, configuración del sistema y registros), la raíz del sistema de archivos de Databricks y, en algunos casos, un catálogo de áreas de trabajo de Unity Catalog. Puede limitar el acceso a la cuenta de almacenamiento del área de trabajo solo a recursos y redes autorizados, con el Azure CLI o PowerShell.

¿Qué es el soporte de firewall para la cuenta de almacenamiento de tu área de trabajo?

De forma predeterminada, la cuenta de almacenamiento del área de trabajo acepta conexiones autenticadas de todas las redes. Al habilitar la compatibilidad con firewall, Azure Databricks bloquea el acceso a la red pública y restringe el acceso solo a los recursos autorizados. Es posible que quiera configurar esto si la organización tiene directivas de Azure que requieren que las cuentas de almacenamiento sean privadas.

Cuando se habilita la compatibilidad con firewall, los servicios fuera de Azure Databricks que necesitan acceder a la cuenta de almacenamiento del área de trabajo deben usar puntos de conexión privados con Private Link. Azure Databricks cómputo sin servidor debe usar puntos de conexión de servicio o puntos de conexión privados para acceder a la cuenta de almacenamiento del espacio de trabajo.

Azure Databricks crea un conector access con una identidad administrada Azure para acceder a la cuenta de almacenamiento del área de trabajo.

Requisitos

• El área de trabajo debe habilitar la inyección de VNet para las conexiones desde el plano de cómputo clásico.

• El área de trabajo debe habilitar la conectividad segura del clúster (sin IP pública o NPIP) para las conexiones desde el plano de proceso clásico.

• El área de trabajo debe estar en el plan Premium.

• Debe tener una subred distinta para los puntos de conexión privados de la cuenta de almacenamiento. Esto se suma a las dos subredes principales para la funcionalidad básica de Azure Databricks.

  La subred debe estar en la misma red virtual que el área de trabajo o en otra red virtual a la que pueda acceder el área de trabajo. Use el tamaño mínimo de la notación CIDR, /28.

• Si usa Cloud Fetch con el Microsoft Fabric Power BI service, siempre debe usar una puerta de enlace de red virtual o una puerta de enlace local para el acceso privado a la cuenta de almacenamiento del área de trabajo. Consulte paso 2 (recomendado): Configuración de puntos de conexión privados para redes virtuales cliente de Cloud Fetch.

• Para los métodos de implementación de Azure CLI o PowerShell, debe crear un conector de acceso Azure Databricks y guardar su identificador de recurso antes de habilitar el firewall de almacenamiento del área de trabajo predeterminado. Esto requiere el uso de una identidad administrada asignada por el sistema o asignada por el usuario. Ver Access Connector for Databricks. No se puede usar el conector de acceso Azure Databricks en el grupo de recursos administrado.

Conectar servicios fuera de Azure Databricks a la cuenta de almacenamiento

Paso 1: Creación de puntos de conexión privados en la cuenta de almacenamiento

Cree dos endpoints privados en la cuenta de almacenamiento de tu área de trabajo desde la VNet que utilizaste para la inyección de red virtual para los valores de subrecurso de destino: dfs y blob.

1. Vaya a su área de trabajo.

2. En Essentials, haga clic en el nombre del grupo de recursos administrado.

3. En Recursos, anote el nombre de la cuenta de almacenamiento del área de trabajo. Normalmente, el nombre comienza por dbstorage.

4. En el cuadro de búsqueda de la parte superior del portal, escriba y seleccione Punto de conexión privado.

5. Haga clic en + Crear.

6. En el campo Nombre del grupo de recursos, defina el grupo de recursos.

   Importante

   El grupo de recursos no debe ser el mismo grupo de recursos administrado en el que se encuentra la cuenta de almacenamiento del área de trabajo.

7. En el campo Nombre , escriba un nombre único para este punto de conexión privado:

   • Para el primer punto de conexión privado que cree para cada red de origen, cree un punto de conexión DFS. Azure Databricks recomienda agregar el sufijo -dfs-pe.
   • Para el segundo punto de conexión privado que cree para cada red de origen, cree un punto de conexión de blob. Azure Databricks recomienda agregar el sufijo -blob-pe.

   El campo Nombre de la interfaz de red se rellena automáticamente.

8. Establezca el campo Región en la región del área de trabajo.

9. Haga clic en Siguiente: Recurso.

10. En Método de conexión, seleccione Conectar a un recurso de Azure en mi directorio.

11. En Suscripción, seleccione la suscripción en la que se encuentra el área de trabajo.

12. En Tipo de recurso, seleccione Microsoft.Storage/storageAccounts.

13. En Recurso, seleccione la cuenta de almacenamiento del área de trabajo.

14. En Subrecurso de destino, seleccione el tipo de recurso de destino.

    • El primer punto de conexión privado que cree para cada red de origen establézcalo en dfs.
    • El segundo punto de conexión privado que cree para cada red de origen establézcalo en blob.

15. Haga clic en Siguiente: Virtual Network.

16. En el campo Red virtual, seleccione una red virtual.

17. En el campo de subred, establezca la subred en la subred separada que tiene para los puntos de conexión privados de la cuenta de almacenamiento.

    Este campo podría rellenarse automáticamente con la subred de los puntos de conexión privados, pero es posible que tenga que establecerlo explícitamente. No use las dos subredes del área de trabajo para la funcionalidad básica del área de trabajo de Azure Databricks, que normalmente se denominan private-subnet y public-subnet.

18. Cambie la configuración de IP privada y los valores predeterminados del grupo de seguridad de aplicaciones si es necesario.

19. Haga clic en Siguiente: DNS. La pestaña DNS se rellena automáticamente con la suscripción y el grupo de recursos correctos que seleccionó anteriormente. Puede cambiarlos si es necesario.

    Nota:

    Si no se adjunta ninguna zona DNS privada para el tipo de subrecurso de destino (dfs o blob) a la red virtual del área de trabajo, Azure creará una nueva zona DNS privada. Si ya existe una zona DNS privada para ese tipo de subrecurso en la red virtual del área de trabajo, Azure la selecciona automáticamente. Una red virtual solo puede tener una zona DNS privada por tipo de subrecurso.

20. Haga clic en Siguiente: Etiquetas y agregue etiquetas si lo desea.

21. Haga clic en Siguiente: Revisar y crear y revisar los campos.

22. Haga clic en Crear.

Paso 2 (recomendado): Configuración de puntos de conexión privados para redes virtuales cliente de Cloud Fetch

Cloud Fetch es un mecanismo en ODBC y JDBC que captura datos en paralelo a través del almacenamiento en la nube para proporcionar datos más rápido a las herramientas de BI. Si obtiene resultados de consultas de más de 100 MB de herramientas de BI, es probable que esté utilizando Cloud Fetch.

Si usa Cloud Fetch, cree puntos de conexión privados en la cuenta de almacenamiento del área de trabajo desde las redes virtuales de los clientes de Cloud Fetch.

Para cada red de origen de clientes de Cloud Fetch, cree dos puntos de conexión privados que usen dos valores de subrecursos de destino diferentes: dfs y blob. Consulte Paso 1: Creación de puntos de conexión privados en la cuenta de almacenamiento para ver los pasos detallados. En esos pasos, en el campo Red virtual, al crear el punto de conexión privado, asegúrese de especificar la red virtual de origen para cada cliente de Cloud Fetch.

Paso 3: Confirmación de la aprobación de los puntos de conexión

Después de crear todos los puntos de conexión privados en la cuenta de almacenamiento, compruebe que están aprobados. Podrían aprobarse automáticamente o es posible que tenga que aprobarlos en la cuenta de almacenamiento.

1. Vaya al área de trabajo en el portal de Azure.
2. En Essentials, haga clic en el nombre del grupo de recursos administrado.
3. En Recursos, haga clic en el recurso de tipo Cuenta de almacenamiento que tenga un nombre que comience por dbstorage.
4. En la barra lateral, haga clic en Redes.
5. Haga clic en Conexiones del punto de conexión privado.
6. Compruebe el campo Estado de la conexión para confirmar que pone Aprobado o selecciónelos y haga clic en Aprobar.

Conexiones desde el cálculo sin servidor

Al habilitar la compatibilidad con el firewall, Azure Databricks incorpora automáticamente la cuenta de almacenamiento del área de trabajo a un perímetro de seguridad de red que permite la etiqueta de servicio AzureDatabricksServerless. Esto permite que el proceso sin servidor de Azure Databricks se conecte a través de los puntos de conexión de servicio. Para conectarse a través de puntos de conexión privados, agregue una regla de punto de conexión privado a la NCC para la cuenta de almacenamiento del área de trabajo. Consulte Configurar la conectividad privada con recursos Azure.

Si desea administrar su propio perímetro de seguridad de red, puede desasociar el perímetro de seguridad de red aprovisionado Azure Databricks y adjuntar el suyo propio. La conmutación produce una breve pausa en el servicio. Prepare el perímetro de seguridad de red de reemplazo de antemano y planee una ventana de mantenimiento.

Habilitar el soporte de firewall de almacenamiento usando Azure CLI

• Para habilitar la compatibilidad con el firewall mediante el conector de acceso con una identidad asignada por el sistema, en Cloud Shell ejecutar:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Para habilitar la compatibilidad con el firewall mediante el conector de acceso con una identidad asignada por el usuario, en Cloud Shell ejecutar:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Para deshabilitar la compatibilidad con el firewall mediante el conector de acceso, en Cloud Shell ejecutar:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Habilitación de la compatibilidad con el firewall de almacenamiento mediante PowerShell

• Para habilitar la compatibilidad con el firewall mediante el conector de acceso con una identidad asignada por el sistema, en Cloud Shell ejecutar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Para habilitar la compatibilidad con el firewall mediante el conector de acceso con una identidad asignada por el usuario, en Cloud Shell ejecutar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Para deshabilitar la compatibilidad con el firewall mediante el conector de acceso, en Cloud Shell ejecutar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"