Introdução ao Catálogo do Unity

O Catálogo do Unity é a camada de governança unificada para dados e IA no Azure Databricks. Ele fornece controle de acesso centralizado, linhagem de dados, auditoria e descoberta de dados em todos os seus espaços de trabalho. Veja O que é o Catálogo do Unity?.

O Catálogo do Unity é habilitado automaticamente para todos os workspaces Azure Databricks criados após 9 de novembro de 2023. Se o workspace já tiver o Catálogo do Unity habilitado, siga o tutorial de instalação. Se o workspace for anterior ao Unity Catalog ou não tiver sido habilitado no momento da criação, siga o guia de atualização.

Guide Description
Guia de configuração do Catálogo do Unity Para espaços de trabalho com o Unity Catalog já ativado. Configure funções de administrador, usuários, computação, permissões e catálogos.
Fazer upgrade para o Unity Catalog Para espaços de trabalho existentes que ainda não estão no Unity Catalog. Habilite o Catálogo do Unity e migre seus dados.

Estender a configuração do Catálogo do Unity

Depois que o workspace for configurado, você poderá aplicar recursos de governança mais avançados aos seus dados e fluxos de trabalho de IA.

Controle de acesso baseado em atributo

O ABAC (controle de acesso baseado em atributo) permite definir políticas de acesso dinâmicas e refinadas com base nos atributos dos dados e no usuário que os acessa. Em vez de gerenciar permissões tabela por tabela, você escreve políticas que impõem automaticamente filtragem em nível de linha e mascaramento em nível de coluna. Por exemplo, você pode ocultar colunas confidenciais de usuários fora de uma região específica ou mascarar PII para funções sem privilégios.

Mascaramento de coluna ABAC em ação

Classificação de dados

A classificação de dados usa um agente de IA para verificar automaticamente seu catálogo e marcar dados confidenciais, como PII, informações financeiras e credenciais. Após a classificação, as tags podem se integrar diretamente às políticas ABAC, permitindo que você aplique controles de governança com base no que os dados realmente contêm, em vez de gerenciar o acesso objeto por objeto.

Resultados da classificação de dados

Monitoramento de qualidade de dados

O monitoramento de qualidade de dados fornece detecção de anomalias em todas as tabelas em um esquema e criação de perfil de dados no nível da tabela. A detecção de anomalias monitora automaticamente a atualidade e a completude usando padrões de dados históricos, destacando problemas sem necessidade de configuração manual. A criação de perfil de dados captura distribuições estatísticas ao longo do tempo, permitindo que você acompanhe a integridade dos dados e defina alertas para alterações inesperadas.

Painel de monitoramento de qualidade de dados

Linhagem de dados

A linhagem de dados captura automaticamente como os dados fluem entre tabelas, notebooks, trabalhos e pipelines – até o nível da coluna. Você pode rastrear a origem de qualquer coluna, ver o que os ativos downstream dependem dela e entender o impacto total de uma alteração de esquema antes de fazer isso.

Linhagem de dados no nível da coluna

Governança de IA com o Gateway de IA do Unity

Unity AI Gateway estende a governança do Unity Catalog à IA. Ele fornece governança corporativa para endpoints de LLM, agentes e servidores MCP, permitindo que você implemente controle de acesso, registros de auditoria e observabilidade em todas as interações de IA em uma interface unificada.

Para obter uma visão geral completa dos recursos do Catálogo do Unity, consulte o que é o Catálogo do Unity?. Para obter as melhores práticas de governança, consulte as práticas recomendadas do Catálogo do Unity.