O que é Catálogo do Unity?

O Catálogo do Unity é a camada de governança unificada integrada à Azure Databricks. Quando habilitado para um workspace, o Unity Catalog atua automaticamente por trás de todas as interações com dados nos seus workspaces: aplicando controles de acesso quando você consulta uma tabela, rastreando a linhagem à medida que os dados se movem, registrando atividades para auditoria e muito mais. Você trabalha com os objetos que o Catálogo do Unity rege por meio do Catalog Explorer, SQL, CLI Azure Databricks e APIs REST.

O Catálogo do Unity é habilitado automaticamente para todos os workspaces Azure Databricks criados após 9 de novembro de 2023.

O Catálogo do Unity também está disponível como uma implementação de código aberto. Consulte o blog de anúncios e o repositório público do GitHub do Unity Catalog.

O modelo de objeto do Catálogo do Unity

Cada ativo que você rege no Catálogo do Unity é modelado como um objeto protegível, um objeto no qual você pode conceder permissões a usuários, entidades de serviço ou grupos. Os ativos de dados, como tabelas, exibições, volumes, funções e modelos, seguem um namespace de três níveis (catalog.schema.object). Tabelas e volumes podem ser gerenciados, em que o Catálogo do Unity manipula tanto a governança quanto o ciclo de vida de armazenamento de arquivos subjacente ou externo, em que o Catálogo do Unity manipula apenas a governança. Outros objetos, como credenciais de armazenamento, locais externos, conexões e compartilhamentos, ficam diretamente sob o metastore.

Diagrama de modelo de objeto do Catálogo do Unity

As páginas a seguir explicam os principais conceitos e fluxos de trabalho do Catálogo do Unity com mais detalhes.

Tópico Description
Objetos protegíveis Saiba mais sobre cada tipo de objeto na hierarquia do Catálogo do Unity e como as permissões se aplicam a eles.
Ativos gerenciados versus externos Entenda a diferença entre tabelas e volumes gerenciados e externos e quando usar cada um.
Requisitos e limitações Examine os requisitos de computação, os formatos de arquivo com suporte, as restrições de nomenclatura e as limitações conhecidas.

Funcionalidades do Catálogo do Unity

O Catálogo do Unity fornece ferramentas internas para controlar todas as dimensões de seus dados e ambiente de IA. Os tópicos a seguir abordam as principais áreas de funcionalidade.

Tópico Description
Controle de acesso Gerencie quem pode acessar o quê usando privilégios, políticas baseadas em atributos, filtros de linhas e colunas e vinculações de espaço de trabalho.
Descoberta de dados Interaja com objetos protegíveis usando o Catalog Explorer, a interface do usuário do Azure Databricks para descobrir e gerenciar dados e ativos de IA registrados no Catálogo do Unity.
Linhagem de dados Acompanhe automaticamente como os dados fluem e se transformam da origem para os painéis e exibições finais.
Auditoria Mantenha um registro completo de todas as atividades do sistema e de acesso a dados usando a tabela do sistema de log de auditoria.
Classificação de dados Classifique e marque automaticamente dados confidenciais em seu catálogo.
Monitoramento de qualidade de dados Acompanhe proativamente a saúde dos dados com criação de perfil e alertas integrados que detectam anomalias antes que elas cheguem aos consumidores posteriores.
Compartilhamento de dados Compartilhe com segurança dados dinâmicos e ativos de IA entre organizações e nuvens usando o protocolo de compartilhamento Delta aberto.
Governança de IA Governe os ativos de IA e o tráfego de IA usando o Catálogo do Unity e o Gateway de IA.

Introdução

Os recursos a seguir ajudam você a começar a usar o Catálogo do Unity. Se o workspace tiver sido criado após 9 de novembro de 2023, ele será automaticamente habilitado com o Unity Catalog.

Tópico Description
Introdução ao Catálogo do Unity Verifique se o Catálogo do Unity já está habilitado para seu workspace e configure seu primeiro catálogo, esquema e controles de acesso a dados.
Fazer upgrade para o Unity Catalog Saiba como atualizar um workspace que ainda não está usando o Catálogo do Unity.

Recursos adicionais