Espelhando o catálogo do Azure Databricks Unity

Atualmente, muitas organizações registram seus dados no Catálogo Unity no Azure Databricks. Um catálogo Unity espelhado no Fabric permite que o cliente leia dados gerenciados pelo Unity Catalog a partir de cargas de trabalho do Fabric. O Azure Databricks e o Fabric são melhores juntos.

Para obter um tutorial sobre como configurar seu espaço de trabalho do Azure Databricks para espelhar o catálogo Unity na malha, consulte Tutorial: Configurar bancos de dados espelhados do Microsoft Fabric a partir do Azure Databricks.

Os bancos de dados espelhados no Fabric permitem que os usuários desfrutem de um produto altamente integrado, completo e fácil de usar, projetado para simplificar suas necessidades de análise. Você pode desfrutar de um produto fácil de usar projetado para simplificar suas necessidades de análise e criado para abertura e colaboração entre o Microsoft Fabric e o Azure Databricks.

Quando você usa o Fabric para ler dados registrados no Unity Catalog, não há movimentação de dados ou replicação de dados. Somente a estrutura do catálogo do Azure Databricks é espelhada no Fabric e os dados do catálogo subjacente são acessados por meio de atalhos. As alterações nos dados subjacentes podem não aparecer no Fabric imediatamente. A propagação pode demorar desde alguns segundos até vários minutos, conforme descrito na documentação de desempenho dos endpoints de análise SQL.

Quais experiências de análise são incorporadas

Os catálogos espelhados são um tipo de item no Data Warehousing do Fabric, distinto do Warehouse e do ponto final de análise SQL.

Quando você espelha um Catálogo Unity do Azure Databricks, o Fabric cria estes itens:

Você pode acessar seus dados espelhados do Azure Databricks de várias maneiras:

  • Cada item espelhado do Azure Databricks tem um ponto final analítico de SQL gerado automaticamente que proporciona uma experiência analítica rica criada pelo processo de espelhamento. Utilize comandos T-SQL para definir e consultar objetos de dados do ponto final de análise SQL só de leitura.
  • Use o Power BI com o modo Direct Lake para criar relatórios no item Azure Databricks.

Sincronização de metadados

Ao criar uma nova base de dados espelhada do Azure Databricks no Fabric, por predefinição, a opção Sincronizar automaticamente futuras alterações do catálogo para o esquema selecionado está ativada. As seguintes alterações de metadados são refletidas do seu espaço de trabalho do Azure Databricks para o Fabric se a sincronização automática estiver habilitada:

  • Adição de esquemas a um catálogo.
  • Exclusão de esquemas de um catálogo.
  • Adição de tabelas a um esquema.
  • Exclusão de tabelas de um esquema.

Seleção de esquema/tabela:

  • Por padrão, todo o catálogo é selecionado quando o usuário adiciona o catálogo.
  • O usuário pode excluir determinadas tabelas dentro do esquema.
  • A desseleção de um esquema desmarca todas as tabelas dentro do esquema.
  • Se o usuário voltar e selecionar o esquema, todas as tabelas dentro do esquema serão selecionadas novamente.
  • O mesmo comportamento de seleção se aplica a esquemas dentro de um catálogo.

Existem outras condições de filtragem que são aplicadas a catálogos/esquemas/tabelas:

  • Visualizações materializadas e tabelas de streaming não serão exibidas.
  • As tabelas externas que não suportam o formato Delta não serão exibidas.

Conteúdo relacionado

  • Last updated on