Habilitación automática de características

Importante

La habilitación automática de características está en versión preliminar pública. Para inscribirse, complete este formulario con el identificador de cuenta. No se requieren cambios de código ni configuración adicional después de la inscripción.

La habilitación automática de características (AFE) actualiza automáticamente las tablas administradas del catálogo de Unity para usar características recomendadas con carácter general sin necesidad de cambios de código ni instrucciones manuales ALTER TABLE . AFE también comprueba que los clientes son compatibles antes de activar nuevas características.

AFE proporciona las siguientes ventajas:

  • Reduzca el esfuerzo administrativo necesario para validar los requisitos de compatibilidad individuales de cada tabla y combinación de características en las áreas de trabajo, especialmente si tiene catálogos con miles de tablas.
  • Obtenga automáticamente las mejoras de rendimiento y confiabilidad más recientes en las tablas administradas.
  • Implemente actualizaciones de forma segura. AFE solo activa las características después de comprobar la compatibilidad de la carga de trabajo.

Funcionamiento de AFE

AFE supervisa los patrones de acceso del catálogo de Unity en los niveles de tabla y esquema y usa una ventana de observación de 50 días para comprobar que los patrones de acceso son compatibles antes de habilitar cualquier característica. AFE utiliza computación sin servidor para actualizar las tablas en segundo plano.

Esquemas y tablas

El comportamiento de AFE depende de si el esquema y las tablas existían antes de que se activara AFE. Esta tabla tiene más detalles:

Schema Tabla Comportamiento de AFE
Nuevo Nuevo AFE establece los valores predeterminados de nivel de esquema en tiempo de creación para que las tablas hereden inmediatamente todas las características admitidas sin un período de observación.
Existente Nuevo AFE activa una característica si solo las cargas de trabajo verificadas han accedido a todas las tablas del esquema dentro de la ventana de observación de 50 días. De lo contrario, AFE no activa las características de las nuevas tablas del esquema si alguna carga de trabajo no verificada accedió a cualquier tabla del esquema. Consulte cargas de trabajo comprobadas.
Existente Existente AFE activa una característica cuando se cumplen todas las siguientes condiciones:
  • Solo las cargas de trabajo verificadas han accedido a la tabla dentro de la ventana de observación de 50 días. Consulte cargas de trabajo comprobadas.
  • El primer acceso registrado de la tabla se produjo antes de la ventana de observación de 50 días.
  • Se ha accedido a la tabla en los últimos 30 días. AFE omite las tablas inactivas.

Cargas de trabajo comprobadas

Una carga de trabajo se considera comprobada para una característica específica si accedió a la tabla desde un clúster de Databricks con una versión de Databricks Runtime en o superior a la versión mínima necesaria de la característica.

Las cargas de trabajo siguientes se consideran no comprobadas:

Si se ha accedido a cualquier tabla de un esquema dentro de la ventana de observación de 50 días mediante una versión de Databricks Runtime por debajo de la versión mínima requerida de la característica o por parte de un cliente externo, AFE no activa la característica correspondiente en ninguna tabla de ese esquema.

Características soportadas

AFE puede activar automáticamente las siguientes características:

Feature Qué hace Versión mínima compatible de Databricks Runtime
Seguimiento de filas Mantiene los identificadores de filas ocultos para el procesamiento incremental con el flujo de datos de cambios. 14,1
Asignación de columnas Permite cambiar el nombre y quitar columnas sin volver a escribir datos. 15,3
Punto de control V2 Permite que Delta Lake admita más escritores simultáneos y reduzca los conflictos de escritura en tablas grandes o actualizadas con frecuencia. 13.3
Confirmaciones administradas por el catálogo Centraliza las confirmaciones en el catálogo de Unity para habilitar transacciones de varias tablas, mejora la interoperabilidad para las escrituras externas y habilita las directivas de gobernanza entre motores. 16.4

La disponibilidad de características puede diferir según la región.

Requisitos

  • El cómputo sin servidor debe estar disponible en su región.
  • Las tablas deben ser gestionadas por Unity Catalog en los formatos Delta Lake o Apache Iceberg.

Observar las características habilitadas

Para comprobar si AFE ha activado una característica en una tabla, busque una SET TBLPROPERTIES operación en la pestaña Historial del Explorador de catálogos o use DESCRIBE HISTORY <table_name>. Si AFE realizó la operación, el campo nombre de usuario muestra un valor hash en lugar de un nombre de usuario, como 4d137f29-62. Consulte ¿Qué es el Explorador de catálogos? y Ver el historial de tablas.

Una vez que AFE habilita las características de las tablas de un nuevo esquema, vea los valores predeterminados del esquema en la pestaña Propiedades del Explorador de catálogos. Por ejemplo, un esquema con seguimiento de filas habilitado muestra una propiedad como catalog.schema.enableRowTracking: "true". Los esquemas existentes no tienen propiedades de observabilidad de AFE.

Los administradores pueden administrar el comportamiento y las operaciones de AFE con varios controles.

Reversión de cambios

Use RESTORE para revertir los datos y metadatos de una tabla a una versión antes de activar la característica:

RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;

Consulte Restauración de una tabla a un estado anterior para obtener más información sobre el historial de tablas y la restauración.

Desactivar las funciones de las tablas

Para desactivar una característica en una tabla individual:

ALTER TABLE <table_name> DROP FEATURE <feature_name>

AFE no vuelve a activar una característica después de desactivarla manualmente.

Limitaciones

  • Las tablas compartidas por Delta Lake Sharing, databricks-to-Open y Databricks-to-Databricks, se excluyen de AFE. Consulte ¿Qué es Delta Sharing?.
  • AFE no tiene un mecanismo de reversión por lotes para desactivar una característica en todas las tablas de una cuenta. Consulte Administre funciones recomendadas de AFE.
  • No se admiten vistas materializadas ni tablas de streaming.
  • AFE no realiza un seguimiento de las cargas de trabajo que omiten el catálogo de Unity y acceden a las tablas directamente mediante la ruta de acceso del archivo. Si las cargas de trabajo utilizan acceso basado en rutas, póngase en contacto con el equipo de gestión de cuentas para analizar la compatibilidad.
    • Normalmente, se accede a las tablas externas mediante la ruta de archivo, eludiendo el Catálogo de Unity y con cargas de trabajo no verificadas de clientes externos. El catálogo de Unity no puede realizar un seguimiento confiable de estos patrones de acceso, por lo que las tablas externas se excluyen de AFE. Vea Trabajar con tablas externas.