Configurar sua conexão do Azure Databricks

Este artigo descreve as etapas para criar uma conexão do Azure Databricks para pipelines e Dataflow Gen2 no Microsoft Fabric.

Tipos de autenticação suportados

O conector do Azure Databricks dá suporte aos seguintes tipos de autenticação para cópia e Dataflow Gen2, respectivamente.

Configurar sua conexão para Dataflow Gen2

Você pode conectar o Dataflow Gen2 ao Azure Databricks no Microsoft Fabric usando conectores do Power Query. Siga estes passos para criar a sua ligação:

1. Verifique capacidades, limitações e considerações para garantir que o seu cenário é suportado.
2. Obtenha dados no Fabric.
3. Conecte-se aos dados do Databricks.

Capabilities

• Import
• DirectQuery (modelos semânticos do Power BI)

Obter dados

Para obter dados no Data Factory:

1. No lado esquerdo do Data Factory, selecione Workspaces.

2. No espaço de trabalho do Data Factory, selecione Novo>Dataflow Gen2 para criar um novo fluxo de dados.

   

3. No Power Query, selecione Obter dados no friso ou selecione Obter dados de outra origem na vista atual.

   

4. Na página Escolher a fonte dos dados , use Pesquisar para procurar o nome do conector, ou selecione Ver mais à direita da lista de conectores para ver todos os conectores disponíveis na Data Factory.

   

5. Se optares por visualizar mais conectores, podes ainda usar a Pesquisa para encontrar o nome do conector ou escolher uma categoria para ver uma lista de conectores associados a essa categoria.

   

Liga-se aos dados do Databricks

Para ligar ao Databricks a partir do Power Query Online, siga os seguintes passos:

1. Selecione a opção Azure Databricks na experiência de obtenção de dados. Diferentes aplicações têm formas diferentes de aceder à experiência de obtenção de dados do Power Query Online. Para obter mais informações sobre como aceder à experiência de obter dados do Power Query Online a partir da sua aplicação, aceda a Onde obter dados.

   Selecione os conectores Databricks disponíveis através da caixa de pesquisa. Utilize o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que tenha sido instruído em contrário pelo seu representante Databricks.

   

2. Insira o nome de host do servidor e o caminho HTTP para o seu Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções sobre como consultar o seu "Nome de host do servidor" e "Caminho HTTP". Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções avançadas.

   

3. Forneça suas credenciais para autenticar com seu Databricks SQL Warehouse. Há três opções de credenciais:

   • Nome de usuário / senha (utilizável para AWS ou GCP). Esta opção não estará disponível se a sua organização/conta utilizar 2FA/MFA.
   • Chave de conta (utilizável para AWS, Azure ou GCP). Consulte a seção "Tokens de acesso pessoal" para obter instruções sobre como gerar um token de acesso pessoal (PAT).
   • Azure Active Directory (utilizável apenas para Azure). Inicie sessão na sua conta organizacional utilizando o pop-up do navegador.

4. Depois de se conectar com êxito, o Navigator aparece e exibe os dados disponíveis no servidor. Selecione os seus dados no navegador. Em seguida, selecione Seguinte para transformar os dados no Power Query.

   

Limitações e considerações

• O conector do Azure Databricks dá suporte ao proxy da Web. No entanto, as configurações automáticas de proxy definidas em arquivos .pac não são suportadas.
• No conector do Azure Databricks, a fonte de dados Databricks.Query não é suportada em combinação com o modo DirectQuery do modelo semântico do Power BI.

Configurar a sua conexão para um pipeline

A tabela a seguir contém um resumo das propriedades necessárias para uma conexão de pipeline:

Para obter instruções específicas para configurar sua conexão em um pipeline, siga estas etapas:

1. Navegue até à página Nova conexão do pipeline de data factory para configurar os detalhes da conexão e criar a conexão.

   

   Você tem duas maneiras de navegar até esta página:

   • No assistente de cópia, navegue até esta página depois de selecionar o conector.
   • No pipeline, navegue até esta página depois de selecionar + Novo na seção Conexão e selecionar o conector.

2. No painel Nova conexão , especifique os seguintes campos:

   • Nome do host do servidor : o nome do host para sua instância do Azure Databricks. Por exemplo: example.azuredatabricks.net
   • Caminho HTTP : O caminho http para seus dados. Por exemplo: /sql/1.0/warehouses/abcdef1234567890
   • Conexão: Selecione Criar nova conexão.
   • Nome da conexão: especifique um nome para sua conexão.

3. Em Gateway de dados, selecione um gateway de dados existente se sua instância do Azure Databricks não estiver acessível publicamente.

4. Para o tipo de autenticação, um token de acesso pessoal é o tipo de autenticação disponível para a atividade de cópia. Especifique seu token de acesso pessoal na configuração relacionada. Para obter mais informações, consulte Autenticação de token de acesso pessoal.

5. Opcionalmente, defina o nível de privacidade que deseja aplicar. Os valores permitidos são Organizacional, Privacidade e Público. Para obter mais informações, consulte os níveis de privacidade na documentação do Power Query.

6. Selecione Criar para criar sua conexão. Se todas as credenciais estiverem corretas, a sua criação é testada e salva com sucesso. Se não estiver correta, a criação falha com erros.

Conteúdo relacionado

• Para mais informações sobre este conector, consulte a documentação do conector Azure Databricks.
• Configurar Azure Databricks numa atividade de cópia