Configuración de Private Link entrante para servicios de alta demanda de rendimiento

En esta página se muestra cómo configurar Private Link para la conectividad entrante a servicios con un uso intensivo del rendimiento en la plataforma Azure Databricks. Esta conexión privada permite a los clientes y usuarios externos acceder a los servicios en la plataforma de Azure Databricks, como Zerobus Ingest y El escalado automático de Lakebase.

Ventajas

• Enhanced security: el tráfico entre la red y los servicios de Databricks permanece dentro de la infraestructura de red de Azure.
• Acceso a servicios de alto rendimiento: conexiones privadas a servicios como Zerobus Ingest y Lakebase Autoscaling.
• Requisitos de cumplimiento: cumpla los requisitos normativos que exijan la conectividad de red privada.
• Cost efficiency: Private Link cuesta menos que las opciones de conectividad pública, como las puertas de enlace NAT.

Requisitos

• La cuenta de Azure Databricks debe estar en el nivel Premium.
• Debe habilitar la función de vista previa pública de conectividad privada para servicios de alto rendimiento en su cuenta. Puede inscribirse automáticamente desde la consola de la cuenta. Sin esta característica habilitada, los puntos de conexión privados no aparecen en la consola de la cuenta.
• Debe ser administrador de cuenta de Azure Databricks para registrar puntos de conexión privados.
• Debe tener permisos de colaborador de red o equivalentes en Azure para crear puntos de conexión privados.

Paso 1: Creación de un punto de conexión privado

En este paso se crea un punto de conexión privado en el portal Azure que se conecta a los servicios con un uso intensivo del rendimiento en Azure Databricks.

Preparación de la red virtual y la subred

1. Prepare una red virtual y una subred para hospedar el punto de conexión privado. Puede crear una nueva red virtual o reutilizar una existente (como la red virtual del área de trabajo).
   • Para crear una red virtual, consulte Create an Azure Virtual Network.
   • Para agregar una subred, consulte Agregar, cambiar o eliminar una subred de red virtual.
2. Compruebe que la directiva de red del punto de conexión privado está desactivada en la subred. Esta configuración es la predeterminada. Consulte Administración de directivas de red para puntos de conexión privados para obtener más información.
3. Si reutiliza una red virtual del área de trabajo existente, debe usar o crear una subred diferente a la que usa el área de trabajo.
4. Si la red virtual (VNet) que hospeda el punto de conexión privado difiere de la red virtual (VNet) que envía el tráfico, configure el emparejamiento de VNet o la conexión. Consulte Comprobación de la conectividad de red virtual.

Implementación de un punto de conexión privado

1. En el portal de Azure, busque puntos de conexión Private en Microsoft Marketplace y seleccione Crear.
2. Escriba un nombre y un nombre de interfaz de red y establezca la región para que coincida con la región de la red virtual del área de trabajo.
3. Haga clic en Siguiente: Recurso.
4. Seleccione Conectar a un recurso de Azure por identificador de recurso o alias.
5. En el campo Id. de recurso o alias, escriba el identificador de recurso del servicio Service-Direct Private Link de la región. Consulte Service-Direct Private Link Resource IDs para obtener la lista de identificadores de recursos.
6. En el campo Subrecurso de destino , escriba service_direct.
7. Haga clic en Siguiente: Virtual Network.
8. Seleccione la red virtual y la subred que preparó en la sección Prepare VNet and subnet.
9. Haga clic en Siguiente: DNS.
10. Deje Integrar con la zona DNS privada establecida en No. Configuras el DNS manualmente en un paso posterior.
11. Haga clic en Siguiente: Etiquetas.
12. Haga clic en Siguiente: Revisar y crear.
13. Revise la configuración y haga clic en Crear para implementar el punto de conexión privado.
14. Una vez completada la implementación, registre estos valores:
    • Nombre del punto de conexión privado: el nombre del punto de conexión privado.
    • GUID de recurso: vaya al recurso de punto de conexión privado, haga clic en vista JSON y busque el valor en properties.resourceGuid. Esto es necesario en el paso 2.
    • Dirección IP privada: en la vista JSON, busque la dirección IP en properties.customDnsConfigs[0].ipAddresses[0]. Esto es necesario en el paso 3.

Paso 2: Registrar el punto de conexión privado

Después de crear el punto de conexión privado en el portal de Azure, regístrelo con Azure Databricks.

1. Vaya a la consola de administración de la cuenta de Azure Databricks.
2. En la barra lateral, haga clic en Seguridad>Red>Puntos finales>Registrar punto final.

Paso 3: Configurar DNS

Una vez registrado el punto de conexión privado, configure DNS para que el tráfico se enrute a través del punto de conexión privado mediante el privatelink.azuredatabricks.net dominio.

• Databricks recomienda una convención de nomenclatura que incluya la región y el propósito, como PE westus2 for service-direct.

1. Cree una zona DNS privada Azure denominada privatelink.azuredatabricks.net.
   • Si el área de trabajo ya utiliza la función de Private Link de entrada (consulte Configurar Private Link de entrada), reutilice la zona privatelink.azuredatabricks.net existente.
   • Para obtener nuevas zonas, consulte Crear una zona DNS privada Azure mediante el portal de Azure.
2. Vincule la zona DNS privada a la red virtual que hospeda el punto de conexión privado. Consulte Vinculación de la red virtual.

Creación de un registro A de DNS

1. Vaya a la privatelink.azuredatabricks.net zona DNS privada.
2. Seleccione la pestaña Conjuntos de registros en Administración de DNS.
3. Haga clic en Agregar para agregar un conjunto de registros.
4. Configure el registro A:
   • Name: <region>.service-direct (reemplace <region> por la región de Azure, por ejemplo, westus2.service-direct)
   • Tipo: A
   • Dirección IP: la dirección IP privada del punto de conexión privado (registrado en el paso 1)
5. Haga clic en Aceptar para guardar el registro.

Verificación de resolución de DNS

Desde una máquina de la red virtual o desde un trabajo de área de trabajo asociada a la zona DNS privada, confirme que las consultas DNS se resuelven en la dirección IP del punto de conexión privado:

nslookup westus2.service-direct.privatelink.azuredatabricks.net

O bien, use dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Ambos comandos devuelven la dirección IP privada del punto de conexión privado.

Comprobación de la conectividad de red virtual

Si la red virtual que genera tráfico difiere de la red virtual que hospeda el punto de conexión privado, configure el emparejamiento de red virtual o la conectividad entre ellas. Consulte los Escenarios de integración de DNS para Azure Private Endpoint para obtener instrucciones detalladas.

Deshabilitar el acceso público (opcional)

Al completar la configuración de Private Link, no se bloquea automáticamente el acceso público a Internet a su área de trabajo. El acceso público y privado son configuraciones independientes. Para aplicar la conectividad solo privada, deshabilite el acceso a la red pública:

1. En el portal de Azure, vaya al recurso del área de trabajo de Azure Databricks.
2. En Configuración, establezca Permitir el acceso de red pública a Deshabilitar.

Limitaciones

• Los puntos de conexión privados para servicios de alto rendimiento son aplicables a nivel de cuenta y afectan automáticamente a todos los espacios de trabajo Premium en la misma región.
• Cada cuenta está limitada a 5 puntos de conexión privados para servicios intensivos de rendimiento por región y 100 por cuenta. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener aumentos de cuota.

Pasos siguientes

• Implementar Azure Databricks en tu red virtual de Azure (inyección de red virtual)
• Configure inbound Private Link
• Direcciones IP y dominios para servicios y activos de Azure Databricks