Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Importante
A ativação automática de funcionalidades está disponível em Pré-visualização Pública. Para se inscrever, preencha este formulário com o seu ID de conta. Não são necessárias alterações de código nem configurações adicionais após a inscrição.
A ativação automática de funcionalidades (AFE) atualiza automaticamente as tabelas geridas do Unity Catalog para utilizar as funcionalidades recomendadas geralmente disponíveis, sem necessidade de alterações de código ou instruções manuais ALTER TABLE . A AFE também verifica se os clientes são compatíveis antes de ativar novas funcionalidades.
A AFE oferece os seguintes benefícios:
- Reduza o esforço administrativo necessário para validar os requisitos individuais de compatibilidade para cada combinação de tabelas e características nos seus espaços de trabalho, especialmente se tiver catálogos com milhares de tabelas.
- Obtenha automaticamente as melhorias mais recentes de desempenho e fiabilidade nas suas tabelas geridas.
- Implementa as atualizações de forma segura. O AFE só ativa funcionalidades depois de verificar a compatibilidade da carga de trabalho.
Como funciona a AFE
O AFE monitoriza os padrões de acesso do Catálogo Unity tanto ao nível da tabela como do esquema e utiliza uma janela de observação de 50 dias para verificar se os padrões de acesso são compatíveis antes de ativar qualquer funcionalidade. O AFE utiliza computação serverless para atualizar tabelas em segundo plano.
Esquemas e tabelas
O comportamento do AFE depende se o esquema e as tabelas existiam antes de o AFE ser ativado. Esta tabela tem mais detalhes:
| Esquema | Table | Comportamento da AFE |
|---|---|---|
| Novo | Novo | A AFE define os valores predefinidos ao nível do esquema na altura da criação, de modo que as tabelas herdam imediatamente todas as funcionalidades suportadas sem um período de observação. |
| Existente | Novo | O AFE ativa uma funcionalidade se apenas cargas de trabalho verificadas tiverem acedido a todas as tabelas do esquema dentro da janela de observação de 50 dias. Caso contrário, o AFE não ativa funcionalidades para novas tabelas no esquema se uma única carga de trabalho não verificada aceder a qualquer tabela do esquema. Ver cargas de trabalho verificadas. |
| Existente | Existente | O AFE ativa uma funcionalidade quando todas as seguintes são verdadeiras:
|
Cargas de trabalho verificadas
Uma carga de trabalho é considerada verificada para uma funcionalidade específica se aceder à tabela a partir de um cluster Databricks com uma versão Databricks Runtime igual ou acima da versão mínima exigida da funcionalidade.
As seguintes cargas de trabalho são consideradas não verificadas:
- Clientes externos e serviços de terceiros como Flink ou Presto. Veja integrações do Catálogo Unity.
- Serviços do Azure Databricks com acesso direto ou a nível de tabela ao nível do kernel, como o Zerobus, que contornam os padrões padrão de acesso ao Databricks em tempo de execução. Consulte Visão geral do conector Zerobus Ingest.
Se qualquer tabela num esquema foi acedida dentro da janela de observação de 50 dias por uma versão Databricks Runtime abaixo da versão mínima exigida da funcionalidade ou por um cliente externo, o AFE não ativa a funcionalidade correspondente em nenhuma tabela desse esquema.
Funcionalidades suportadas
A AFE pode ativar automaticamente as seguintes funcionalidades:
| Feature | O que faz | Versão de execução do Databricks mínimamente compatível |
|---|---|---|
| Rastreamento de linha | Mantém IDs ocultos de linhas para processamento incremental com feed de dados de alteração. | 14,1 |
| Mapeamento de colunas | Permite-te renomear e eliminar colunas sem reescrever dados. | 15.3 |
| Checkpoint V2 | Permite ao Delta Lake suportar mais escritores simultâneos e reduz conflitos de escrita em tabelas grandes ou frequentemente atualizadas. | 13.3 |
| Commits geridos pelo catálogo | Centraliza os commits no Unity Catalog para possibilitar transações em múltiplas tabelas, melhora a interoperabilidade para gravações externas e permite a aplicação de políticas de governação entre diferentes motores. | 16,4 |
A disponibilidade de funcionalidades pode variar consoante a região.
Requisitos
- A computação serverless deve estar disponível na sua região.
- As tabelas devem ser tabelas geridas pelo Unity Catalog em formatos Delta Lake ou Apache Iceberg.
Observar funcionalidades ativadas
Para verificar se o AFE ativou uma funcionalidade numa tabela, verifique pela operação de SET TBLPROPERTIES no separador Histórico do Explorador de Catálogos, ou utilize DESCRIBE HISTORY <table_name>. Se o AFE realizou a operação, o campo nome de utilizador mostra um valor de hash em vez de um nome de utilizador, como 4d137f29-62.
Veja O que é o Explorador de Catálogo? e Veja o histórico da tabela.
Depois de o AFE ativar as funcionalidades nas tabelas de um novo esquema, consulte os valores predefinidos do esquema no separador Propriedades do Explorador de Catálogo. Por exemplo, um esquema com o rastreamento de linhas ativado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não têm propriedades de observabilidade AFE.
Gestão das funcionalidades recomendadas do AFE
Os administradores podem gerir o comportamento e as operações da AFE com vários controlos.
Reverter alterações
Use RESTORE para reverter os dados e metadados de uma tabela para uma versão anterior à funcionalidade ativada:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consulte Restaurar uma tabela a um estado anterior para mais informações sobre o histórico da tabela e restaurar.
Desligue as funcionalidades das tabelas
Para desligar uma funcionalidade numa tabela individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
O AFE não volta a ativar uma funcionalidade depois de a desligar manualmente.
Limitações
- Tabelas partilhadas pela Delta Lake Sharing, tanto Databricks-para-Open como Databricks-para-Databricks, estão excluídas do AFE. Consulte O que é Delta Sharing?.
- O AFE não tem um mecanismo de rollback em lote para desligar uma funcionalidade em todas as tabelas de uma conta. Veja Gerenciar funcionalidades recomendadas AFE.
- Não há suporte para visualizações materializadas e tabelas de streaming.
- Cargas de trabalho que contornam o Unity Catalog e acedem diretamente às tabelas pelo caminho do ficheiro não são rastreadas pelo AFE. Se as suas cargas de trabalho usarem acesso baseado em caminhos, contacte a sua equipa de contas para discutir a compatibilidade.
- As tabelas externas são normalmente acedidas pelo caminho do ficheiro, contornando o Unity Catalog, e com cargas de trabalho não verificadas de clientes externos. O Unity Catalog não consegue rastrear de forma fiável estes padrões de acesso, pelo que tabelas externas são excluídas do AFE. Consulte Trabalhar com tabelas externas.