Endereços IP e domínios para serviços e ativos do Azure Databricks

Este artigo lista endereços IP e domínios para serviços e ativos do Azure Databricks.

Pode precisar desta informação se o seu espaço de trabalho Azure Databricks estiver implementado na sua própria rede virtual (VNet) e usar rotas personalizadas, também conhecidas como rotas definidas pelo utilizador (UDR), para gerir o tráfego de rede através de um dispositivo virtual ou firewall.

Consulte as definições de rota definidas pelo utilizador para Azure Databricks.

A Databricks recomenda fortemente que utilize a tag de serviço do Azure Databricks em vez de endereços IP específicos. Azure etiquetas de serviço representam um grupo de prefixos de endereço IP de um dado serviço Azure. A etiqueta de serviço Azure Databricks representa endereços IP para as ligações de saída necessárias ao plano de controlo Azure Databricks, à conectividade secure cluster (SCC) e à aplicação web Azure Databricks. O Azure Databricks gere os prefixos de endereço abrangidos pela etiqueta de serviço e atualiza automaticamente a etiqueta de serviço à medida que os endereços mudam. Isso ajuda a evitar interrupções de serviço devido a alterações de IP e elimina a necessidade de procurar periodicamente esses IPs e atualizá-los.

Azure Databricks endereços do plano de controlo

Os endereços IP que utiliza para encaminhar o tráfego de rede dependem de o seu espaço de trabalho de Azure Databricks utilizar ou não secure cluster connectivity (SCC):

• Conectividade de cluster segura habilitada: use o valor de retransmissão SCC e os IPs do Plano de Controle, incluindo valores padrão de armazenamento e webapp para a região do espaço de trabalho. Estes valores encontram-se na secção plano de controlo de entrada para o Azure Databricks.
• Conectividade segura do cluster desativada : utilize os serviços do plano de controlo do Aviao de Controle , incluindo armazenamento predefinido e valores da aplicação web para a região do espaço de trabalho na secção Inbound para o plano de controlo do Azure Databricks e os valores NAT do plano de controlo para a região do espaço de trabalho na secção IPs Outbound do plano de controlo do Azure Databricks.

A maioria das regiões tem vários intervalos de endereços IP para os IPs do plano de controle, Webapp e NAT. Tal deve-se ao facto de essas regiões conterem mais serviços de infraestrutura do que outras. Seu espaço de trabalho será atribuído a serviços de infraestrutura em um endereço IP para o NAT do plano de controle e outro para o Webapp durante a criação do espaço de trabalho. Seu espaço de trabalho não será acessível pelos serviços de infraestrutura nos outros endereços IP, porque os dados e segredos não são compartilhados entre os serviços de infraestrutura dentro de uma região. Portanto, não há problemas de segurança em ter vários endereços IP especificados em seus grupos de segurança de rede.

Entrada para o plano de controlo do Azure Databricks

IPs Outbound a partir do plano de controlo do Azure Databricks

Esses valores são usados somente se a conectividade de cluster seguro estiver desabilitada.

IPs de saída para firewall de computação sem servidor em pré-visualização

Se o seu espaço de trabalho estiver ativado para firewall de computação serverless (Pré-visualização Privada), recebe um URL que aponta para um ficheiro JSON contendo os endereços IP de saída. Use esta informação para permitir ou negar tráfego proveniente dos serviços Azure Databricks.

O Azure Databricks pode atualizar os IPs de saída com a frequência de uma vez a cada 30 dias. IPs atualizados tornam-se ativos até 60 dias após a publicação. Depois de novas regiões do Azure Databricks ficarem disponíveis, os seus IPs ativos são publicados no ficheiro.

Para encontrar os IPs de saída do seu ambiente, filtre o JSON para entradas onde service é Databricks, platform é azure, type é outbound, e region corresponde à sua região de espaço de trabalho. Para manter estes dados atualizados, construa uma automação que recupere periodicamente o JSON, compare o campo timestampSeconds com a versão guardada anteriormente para identificar alterações, atualize a lista de autorização do firewall com quaisquer novos IPs, e guarde cada versão do ficheiro para referência.

Endereço IP do armazenamento raiz do DBFS

Para obter endereços IP para armazenamento raiz DBFS:

1. Aceda à instância do espaço de trabalho no portal do Azure.
2. Clique no nome do grupo de recursos gerenciados do espaço de trabalho.
3. Na lista de recursos, localize uma conta de armazenamento com o nome no formato dbstorage************ e copie-a.
4. Obtenha os domínios endpoint, utilizando o nome da conta de armazenamento que copiou.
   • Domínio <storage-account-name>.blob.core.windows.net. Por exemplo, dbstorage9875b57ac95c.blob.core.windows.net.
   • Domínio <storage-account-name>.dfs.core.windows.net. Por exemplo, dbstorage9875b57ac95c.dfs.core.windows.net.
5. Procure os endereços IP desses nomes de domínio.
6. Crie dois UDRs para estes endereços IP para que os UDRs encaminhem o tráfego para o serviço Armazenamento do Azure.

Metastore, armazenamento de blobs para artefatos, armazenamento de tabelas do sistema, armazenamento de blobs para logs e endereços IP de ponto de extremidade do Event Hubs

Para obter o metastore do Hive ao nível do espaço de trabalho, o armazenamento de artifact Blob, o armazenamento de tabelas do sistema, o armazenamento de log Blob e os endereços IP dos Hubs de Eventos, deve utilizar os nomes de domínio fornecidos na tabela a seguir para encontrar os endereços IP.

IDs de Recursos de Serviço Service-Direct Private Link

Use a tabela seguinte para encontrar o ID de Recurso do Serviço Private Link para a sua região ao configurar Endpoints Privados do Service-Direct. Para obter instruções de configuração, consulte Configurar Ligação Privada de entrada para serviços intensivos em desempenho.

Intervalos de IP reservados para uso interno do Databricks

O Databricks reserva determinados intervalos de IP para aplicações internas para evitar potenciais conflitos de IP. Os clientes devem evitar usar esses intervalos em suas configurações de rede:

• 127.187.216.0/24
• 192.168.216.0/24
• 198.18.216.0/24

Esses intervalos de IP reservados se aplicam a todos os tipos de espaços de trabalho e todos os tipos de cluster, incluindo clusters clássicos e sem servidor, bem como clusters do Serviço de Contêiner Databricks.

clusters do serviço de contentores do Databricks

Para clusters DCS (Databricks Container Service), você também deve evitar usar o intervalo de rede padrão do Docker:

• 172.17.0.0/16

Ao reservar esses intervalos de IP para uso interno do Databricks e evitar o intervalo de rede padrão do Docker para clusters DCS, você pode ajudar a evitar possíveis conflitos de IP e garantir o bom funcionamento do seu ambiente Databricks.