Azure Databricks

Resumo

Pré-requisitos de rede

Para redes privadas, terá de implementar as seguintes definições de rede:

• *.blob.core.windows.net* e *.store.core.windows.net precisam estar abertos no ambiente de rede.
• Esta lista de downloads e revogações de certificados também precisa ser adicionada à sua lista de permissões.
• Se o suporte de firewall estiver ativado na sua conta de armazenamento do Databricks, deve configurar um gateway de rede de dados virtual ou um gateway de dados on-premises para permitir acesso privado à conta de armazenamento. Isto garante que o Fabric Power BI service pode continuar a aceder à conta de armazenamento do espaço de trabalho e que o CloudFetch continua a funcionar corretamente. Alternativamente, pode desativar o CloudFetch com a configuração EnableQueryResultDownload=0.

Capacidades suportadas

• Importação
• DirectQuery (modelos semânticos do Power BI)

Ligue-se ao Databricks (AWS, Azure ou GCP) a partir do Power Query Desktop

Para se ligar a Databricks a partir do Power Query Desktop, siga os seguintes passos:

1. Na experiência Get Data, pesquise por Databricks para selecionar o conector Databricks, Azure Databricks. Utilize o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que tenha sido instruído em contrário pelo seu representante Databricks.

   

2. Forneça o nome de host do Server e o caminho HTTP para o Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções sobre como consultar o seu "Nome de host do servidor" e "Caminho HTTP". Insira estas informações adequadamente. Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções avançadas. Selecione OK para continuar.

   

3. Forneça suas credenciais para autenticar com seu Databricks SQL Warehouse. Há três opções de credenciais:

   • Credenciais do Cliente Databricks. Consulte Databricks OAuth M2M para obter instruções sobre como gerar credenciais de cliente Databricks OAuth M2M.

   • Personal Access Token (utilizável para AWS, Azure ou GCP). Consulte a seção "Tokens de acesso pessoal" para obter instruções sobre como gerar um token de acesso pessoal (PAT).

   • Azure Active Directory (utilizável apenas para Azure). Inicie sessão na sua conta organizacional utilizando o pop-up do navegador.

     

   Observação

   Depois de introduzir as suas credenciais para um determinado Databricks SQL Warehouse, o Power BI Desktop armazena e reutiliza essas mesmas credenciais em tentativas de ligação subsequentes. Você pode modificar essas credenciais acessando Ficheiro > Opções e definições > Configurações da fonte de dados. Para obter mais informações: Alterar o método de autenticação

4. Depois de estabelecer a ligação com êxito, o Navigator mostra os dados disponíveis no cluster. Pode escolher Transform Data para transformar os dados usando Power Query ou Load para carregar os dados no Power Query Desktop.

   

Ligue-se aos dados do Databricks a partir do Power Query Online

Para se ligar aos Databricks do Power Query Online, siga os seguintes passos:

1. Selecione a opção Azure Databricks na experiência de obtenção de dados. Diferentes aplicações têm formas diferentes de aceder à experiência de dados do Power Query Online. Para mais informações sobre como aceder ao Power Query Online obter experiência de dados através da sua aplicação, consulte Onde obter dados.

   Selecione os conectores Databricks disponíveis através da caixa de pesquisa. Utilize o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que tenha sido instruído em contrário pelo seu representante Databricks.

   

2. Insira o nome de host do servidor e o caminho HTTP para o seu Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções sobre como consultar o seu "Nome de host do servidor" e "Caminho HTTP". Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções avançadas.

   

3. Forneça suas credenciais para autenticar com seu Databricks SQL Warehouse. Há três opções de credenciais:

   • Nome de usuário / senha (utilizável para AWS ou GCP). Esta opção não estará disponível se a sua organização/conta utilizar 2FA/MFA.
   • Chave de Conta (utilizável para AWS, Azure ou GCP). Consulte a seção "Tokens de acesso pessoal" para obter instruções sobre como gerar um token de acesso pessoal (PAT).
   • Azure Active Directory (utilizável apenas para Azure). Inicie sessão na sua conta organizacional utilizando o pop-up do navegador.

4. Depois de se conectar com êxito, o Navigator aparece e exibe os dados disponíveis no servidor. Selecione os seus dados no navegador. Depois seleciona Next para transformar os dados em Power Query.

   

Implementação do conector do driver Arrow Database Connectivity (Visualização)

Pode usar o driver Arrow Database Connectivity (ADBC) para o conector Azure Databricks em Power BI. À medida que continuamos a aprimorar e adicionar novos recursos a esse conector, recomendamos que você atualize para a versão mais recente para experimentá-la e enviar comentários sobre o produto.

Para alternar para o driver ADBC:

1. Abra o painel desejado no Power BI.
2. Selecione Transformar dados.
3. Selecione Advanced Editor na secção de opções Query.
4. Especifique Implementation="2.0" para ADBC.

   let
       Source = Databricks.Catalogs("adb-<workspace-id>.<random-number>.azuredatabricks.net", "/sql/1.0/warehouses/<sql-warehouse-id>",
           [Catalog=null, Database=null, EnableAutomaticProxyDiscovery=null, Implementation="2.0"]),
       powerbi_Database = Source{[Name="powerbi",Kind="Database"]}[Data],
       default_Schema = powerbi_Database{[Name="default",Kind="Schema"]}[Data],
       dashboard_data_Table = default_Schema{[Name="dashboard_data",Kind="Table"]}[Data]
   in
       dashboard_data_Table
   

Limitações e considerações

• O conector Azure Databricks suporta proxy da web. No entanto, as configurações automáticas de proxy definidas em arquivos .pac não são suportadas.
• No conector Azure Databricks, a fonte de dados Databricks.Query não é suportada em combinação com o modo DirectQuery do modelo semântico do Power BI.