Habilitação automática de recursos

A AFE (habilitação automática de recursos) atualiza automaticamente as tabelas gerenciadas do Catálogo do Unity para usar recursos recomendados geralmente disponíveis sem a necessidade de alterações de código ou instruções manuais ALTER TABLE . A AFE também verifica se os clientes são compatíveis antes de ativar novos recursos.

A AFE fornece os seguintes benefícios:

• Reduza o esforço administrativo necessário para validar os requisitos de compatibilidade individuais para cada tabela e combinação de recursos em seus workspaces, especialmente se você tiver catálogos com milhares de tabelas.
• Obtenha automaticamente as melhorias mais recentes de desempenho e confiabilidade em suas tabelas gerenciadas.
• Implementar atualizações com segurança. A AFE só ativa os recursos depois de verificar a compatibilidade da carga de trabalho.

Como o AFE funciona

A AFE monitora os padrões de acesso do Catálogo do Unity nos níveis de tabela e esquema e usa uma janela de observação de 50 dias para verificar se os padrões de acesso são compatíveis antes de habilitar qualquer recurso. A AFE usa a computação sem servidor para atualizar tabelas em segundo plano.

Esquemas e tabelas

O comportamento do AFE depende se o esquema e as tabelas existiam antes do AFE ser ativado. Esta tabela tem mais detalhes:

Cargas de trabalho verificadas

Uma carga de trabalho será considerada verificada para um recurso específico se ele tiver acessado a tabela de um cluster do Databricks com uma versão do Databricks Runtime acima ou acima da versão mínima necessária do recurso.

As seguintes cargas de trabalho são consideradas não verificadas:

• Clientes externos e serviços de terceiros, como Flink ou Presto. Confira integrações do Unity Catalog.
• Serviços do Azure Databricks com acesso direto à tabela no nível do kernel, como o Zerobus, que ignoram os padrões de acesso padrão do Databricks Runtime. Confira a visão geral do conector Zerobus Ingest.

Se qualquer tabela em um esquema tiver sido acessada dentro da janela de observação de 50 dias por uma versão do Databricks Runtime abaixo da versão mínima necessária do recurso ou por um cliente externo, a AFE não ativa o recurso correspondente em nenhuma tabela nesse esquema.

Recursos com suporte

A AFE pode ativar automaticamente os seguintes recursos:

A disponibilidade do recurso pode ser diferente por região.

Requisitos

• A computação sem servidor deve estar disponível em sua região.
• As tabelas devem ser tabelas gerenciadas do Catálogo do Unity nos formatos Delta Lake ou Apache Iceberg.

Observar recursos habilitados

Para verificar se a AFE ativou um recurso em uma tabela, procure uma SET TBLPROPERTIES operação na guia Histórico no Gerenciador de Catálogos ou use DESCRIBE HISTORY <table_name>. Se a AFE executou a operação, o campo nome de usuário mostrará um valor de hash em vez de um nome de usuário, como 4d137f29-62. Veja o que é o Gerenciador de Catálogos? e exibir o histórico de tabelas.

Após a habilitação de recursos pela AFE em tabelas de um novo esquema, exiba os padrões de esquema na guia Propriedades no Explorador de Catálogos. Por exemplo, um esquema com controle de linha habilitado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não têm propriedades de observabilidade AFE.

Gerenciar recursos recomendados pela AFE

Os administradores podem gerenciar o comportamento e as operações do AFE com vários controles.

Reverter as alterações

Use RESTORE para reverter os dados e metadados de uma tabela para uma versão antes de o recurso ser ativado:

RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;

Consulte Restaurar uma tabela em um estado anterior para obter mais informações sobre o histórico e a restauração da tabela.

Desativar funcionalidades para tabelas

Para desativar um recurso em uma tabela individual:

ALTER TABLE <table_name> DROP FEATURE <feature_name>

A AFE não ativa um recurso novamente depois que você o desativa manualmente.

Limitações

• As tabelas compartilhadas pelo Delta Lake Sharing, Databricks-to-Open e Databricks-to-Databricks, são excluídas da AFE. Confira O que é o Compartilhamento Delta?.
• O sistema AFE não tem um mecanismo de reversão em lote para desligar uma funcionalidade em todas as tabelas em uma conta. Consulte Gerenciar recursos recomendados pela AFE.
• Não há suporte para exibições materializadas e tabelas de streaming.
• As cargas de trabalho que ignoram o Catálogo do Unity e acessam tabelas diretamente pelo caminho do arquivo não são controladas pela AFE. Se suas cargas de trabalho usarem acesso baseado em caminho, entre em contato com sua equipe de conta para discutir a compatibilidade.
  • As tabelas externas normalmente são acessadas por caminho de arquivo, ignorando o Catálogo do Unity e com cargas de trabalho não verificadas de clientes externos. O Catálogo do Unity não pode acompanhar de forma confiável esses padrões de acesso, portanto, as tabelas externas são excluídas da AFE. Consulte Trabalhar com tabelas externas.