O que é o Unity Catalog?

O Unity Catalog é a camada unificada de governação integrada no Azure Databricks. Quando ativado para um espaço de trabalho, o Unity Catalog opera automaticamente abaixo de todas as interações de dados nos seus espaços de trabalho: aplicando controlo de acesso quando consulta uma tabela, acompanhando a linhagem à medida que os dados avançam, registando a atividade para auditoria, entre outros. Trabalhas com os objetos que o Unity Catalog governa através de Catalog Explorer, SQL, a Azure Databricks CLI e APIs REST.

O Unity Catalog está automaticamente ativado para todos os espaços de trabalho do Azure Databricks criados após 9 de novembro de 2023.

Unity Catalog também está disponível como uma implementação de código aberto. Veja o blog de anúncio e o repositório público do Unity Catalog GitHub.

O modelo de objeto do Catálogo do Unity

Cada ativo que governa no Unity Catalog é modelado como um objeto securável, um objeto sobre o qual pode conceder permissões a utilizadores, principais de serviço ou grupos. Ativos de dados como tabelas, vistas, volumes, funções e modelos seguem um namespace de três níveis (catalog.schema.object). Tabelas e volumes podem ser geridos, onde o Unity Catalog gere tanto a governação como o ciclo de vida subjacente ao armazenamento de ficheiros, ou externos, onde o Unity Catalog trata apenas da governação. Outros objetos, como credenciais de armazenamento, localizações externas, ligações e partilhas, situam-se diretamente sob a metastore.

Diagrama de modelo de objeto do Unity Catalog

As páginas seguintes explicam com mais detalhe os conceitos e fluxos de trabalho essenciais do Catálogo Unity.

Topic Description
Objetos seguráveis Aprenda sobre cada tipo de objeto na hierarquia do Catálogo Unity e como as permissões se aplicam a eles.
Ativos geridos versus ativos externos Compreenda a diferença entre tabelas e volumes geridos e externos, e quando usar cada uma.
Requisitos e limitações Analise os requisitos de computação, formatos de ficheiro suportados, restrições de nomeação e limitações conhecidas.

Capacidades do Catálogo Unity

O Unity Catalog disponibiliza ferramentas integradas para governar todas as dimensões do seu ambiente de dados e IA. Os tópicos seguintes abrangem as principais áreas de capacidade.

Topic Description
Controlo de acesso Gere quem pode aceder a quê usando privilégios, políticas baseadas em atributos, filtros de linhas e colunas, e associações de espaços de trabalho.
Descoberta de dados Interaja com objetos seguros usando o Catalog Explorer, a interface do Azure Databricks para descobrir e gerir dados e ativos de IA registados no Unity Catalog.
Linhagem de dados Acompanhe automaticamente como os dados fluem e se transformam da fonte para as vistas finais e dashboards.
Auditoria Mantenha um registo completo de todo o acesso aos dados e da atividade do sistema utilizando a tabela do sistema de registos de auditoria.
Classificação dos dados Classifica e etiqueta automaticamente dados sensíveis no teu catálogo.
Monitorização da qualidade dos dados Monitoriza proativamente a saúde dos dados com perfil incorporado e alertas que detetam anomalias antes que cheguem aos consumidores a jusante.
Partilha de dados Partilhe dados em tempo real e ativos de IA de forma segura entre organizações e clouds utilizando o protocolo aberto Delta Sharinging.
Governação da IA Governar ativos e tráfego de IA usando o Unity Catalog e o AI Gateway.

Introdução

Os seguintes recursos ajudam-no a começar com o Unity Catalog. Se o seu espaço de trabalho foi criado após 9 de novembro de 2023, é automaticamente ativado com o Unity Catalog.

Topic Description
Introdução ao Catálogo Unity Verifica se o Unity Catalog já está ativado para o teu espaço de trabalho e configura o teu primeiro catálogo, esquema e controlos de acesso aos dados.
Atualizar para o Unity Catalog Aprenda a atualizar um espaço de trabalho que ainda não está a usar o Unity Catalog.

Recursos adicionais

  • Last updated on