Espelhamento do Unity Catalog do Azure Databricks

Muitas organizações registram hoje seus dados no Catálogo do Unity no Azure Databricks. Um Catálogo do Unity espelhado no Fabric permite que o cliente leia dados gerenciados pelo Catálogo do Unity a partir de cargas de trabalho do Fabric. O Azure Databricks e o Fabric são melhores juntos.

Para obter um tutorial sobre como configurar seu espaço de trabalho do Azure Databricks para espelhar o Unity Catalog no Fabric, consulte Tutorial: Configurar bancos de dados espelhados do Microsoft Fabric a partir do Azure Databricks.

Os bancos de dados espelhados no Fabric permitem que os usuários desfrutem de um produto altamente integrado, de ponta a ponta e fácil de usar projetado para simplificar suas necessidades de análise. Você pode desfrutar de um produto fácil de usar projetado para simplificar suas necessidades de análise e criado para abertura e colaboração entre o Microsoft Fabric e o Azure Databricks.

Quando você usa o Fabric para ler dados registrados no Catálogo do Unity, não há nenhuma movimentação de dados ou replicação de dados. Somente a estrutura do catálogo do Azure Databricks é espelhada no Fabric e os dados do catálogo subjacente são acessados por meio de atalhos. As alterações nos dados subjacentes podem não aparecer imediatamente no Fabric. A propagação pode levar de alguns segundos a vários minutos, conforme descrito na documentação de desempenho do endpoint de análises SQL.

Quais experiências de análise vêm integradas

Os catálogos espelhados são um elemento do Fabric Data Warehousing distinto do Warehouse e do ponto de extremidade de análise SQL.

Quando você espelha um catálogo do Unity Catalog do Azure Databricks, o Fabric cria os seguintes itens:

Você pode acessar seus dados espelhados do Azure Databricks de várias maneiras:

  • Cada item espelhado do Azure Databricks tem um endpoint SQL de análise gerado automaticamente que proporciona uma experiência analítica abrangente gerada pelo processo de espelhamento. Use os comandos T-SQL para definir e consultar objetos de dados no endpoint de análise SQL somente leitura.
  • Use o Power BI com o modo Direct Lake para criar relatórios no item do Azure Databricks.

Sincronização de metadados

Quando você cria um novo banco de dados espelhado a partir do Azure Databricks no Fabric, por padrão, a opção Sincronizar automaticamente futuras alterações no catálogo para o esquema selecionado fica habilitada. As seguintes alterações de metadados são refletidas do workspace do Azure Databricks para o Fabric se a sincronização automática estiver habilitada:

  • Adição de esquemas a um catálogo.
  • Exclusão de esquemas de um catálogo.
  • Adição de tabelas a um esquema.
  • Exclusão de tabelas de um esquema.

Seleção de esquema/tabela:

  • Por padrão, todo o catálogo é selecionado quando o usuário adiciona o catálogo.
  • O usuário pode excluir determinadas tabelas dentro do esquema.
  • Desmarcar um esquema desmarca todas as tabelas dentro do esquema.
  • Se o usuário voltar e selecionar o esquema, todas as tabelas dentro do esquema serão selecionadas novamente.
  • O mesmo comportamento de seleção se aplica a esquemas em um catálogo.

Há outras condições de filtragem que são aplicadas a catálogos/esquemas/tabelas:

  • Visões materializadas e tabelas de streaming não serão exibidas.
  • Tabelas externas que não dão suporte ao formato Delta não serão exibidas.

Conteúdo relacionado

  • Last updated on