Retención de datos en Fabric Data Warehouse

Esto se aplica a:✅ Almacén en Microsoft Fabric

En Microsoft Fabric, un almacén conserva y mantiene automáticamente varias versiones de los datos en función del período de retención configurado. Este período de retención determina hasta qué punto en el pasado puede realizar consultas de viaje en el tiempo, crear clones de tabla, usar puntos de restauración y crear instantáneas de almacén.

La retención de datos se inicia automáticamente al crear el almacenamiento. De forma predeterminada, los almacenes conservan el historial de datos durante 30 días naturales. Puede configurar el período de retención en cualquier valor entre 1 y 120 días. El sistema elimina automáticamente los archivos expirados después de que finalice el período de retención.

El almacenamiento conserva todas las inserciones, actualizaciones y eliminaciones dentro del período de retención configurado.

• El aumento del período de retención proporciona una ventana más larga para las consultas a través del tiempo, los clones de tabla en un punto temporal específico, los puntos de restauración y las instantáneas de almacén de datos. Sin embargo, un período de retención más largo aumenta el consumo de almacenamiento y los costos asociados.
• Disminuir el período de retención reduce los costos de almacenamiento, pero limita hasta qué punto puede consultar o recuperar datos históricos.

Cómo funciona la retención de datos

Cuando se modifican los datos, el almacenamiento no descarta inmediatamente el estado de la versión anterior. En su lugar, las versiones anteriores de los datos se conservan como parte del registro de transacciones de Delta Lake. Este mecanismo de control de versiones es lo que permite que funcionen los recorridos de tiempo, los clones de tabla, los puntos de restauración y las instantáneas de almacenamiento.

Cuando las versiones de datos históricas superan el período de retención configurado, un proceso de recolección de elementos no utilizados en segundo plano quita automáticamente los archivos expirados de OneLake. Este proceso de limpieza se ejecuta de forma asincrónica y no afecta a las consultas activas ni a las transacciones en curso.

El almacén mide la antigüedad de los datos retenidos en días naturales absolutos desde el momento en que se creó la versión de datos, incluido cualquier período en que la capacidad de Microsoft Fabric esté en pausa.

Intervalo de períodos de retención

Si no configura explícitamente el período de retención, los almacenes existentes usan el período de retención predeterminado de 30 días naturales. Puede configurar el período de retención de datos de 1 a 120 días.

Configuración de la retención de datos

Establezca el período de retención de datos para un almacenamiento mediante ALTER DATABASE ... Comando SET T-SQL. Para conocer los pasos y obtener más información, consulte Cómo configurar la retención de datos en Fabric Data Warehouse.

Comportamiento al cambiar el período de retención

Comprender el comportamiento al cambiar el período de retención le ayuda a planear los cambios para evitar una pérdida inesperada de datos o aumentos del tamaño de almacenamiento.

Aumento del período de retención

Al aumentar el período de retención, la nueva configuración surte efecto inmediatamente. Sin embargo, no puede recuperar los datos históricos que el sistema ya ha limpiado en el período de retención más corto anterior. Solo las versiones de datos que todavía existen en OneLake en el momento del cambio se benefician del período de retención extendido.

Por ejemplo, si el almacén tiene actualmente un período de retención de 7 días y lo aumenta a 60 días, el cambio se aplica desde ese momento hacia adelante. Las versiones de datos ya limpiadas por el sistema antes del cambio (anteriores a 7 días) no se pueden recuperar. Sin embargo, todas las versiones de datos aún dentro del período de 7 días en el momento del cambio, junto con las versiones recién creadas en adelante, se conservarán durante un máximo de 60 días.

Reducir el período de retención

Al reducir el período de retención, las versiones de datos que ahora se encuentran fuera del nuevo período de retención más corto se vuelven aptas para la limpieza. El proceso de limpieza se ejecuta de forma asincrónica en segundo plano y no se produce de forma instantánea. Las consultas activas que ya están en curso no se ven afectadas.

Por ejemplo, si el almacén tiene un período de retención de 30 días y lo reduce a 7 días, las versiones de datos entre 8 y 30 días de antigüedad se vuelven aptas para la limpieza en segundo plano.

Fecha límite de retención

La time_travel_retention_cutoff_date columna de la vista de catálogo del sistema sys.databases refleja la fecha más antigua real desde la que están disponibles los datos de viaje de tiempo, no el período de retención configurado actualmente. Los datos reales más antiguos pueden ser diferentes del período de retención configurado.

El período de retención configurado por el usuario define cuántos días de historial debe conservar el sistema en el futuro. Sin embargo, el historial recuperable real depende de los datos que se conservaron antes de cualquier cambio de retención.

Dos situaciones provocan una divergencia entre la retención configurada y el historial disponible real:

• Se redujo la retención : el almacenamiento marca inmediatamente los datos históricos que son más antiguos que el nuevo período de retención para la recolección de basura y los quita permanentemente.
• La retención se incrementó posteriormente : el almacenamiento no puede restaurar el historial eliminado. Debe esperar a que se acumule el nuevo historial antes de que esté disponible la ventana configurada completa.

Escenarios de retención de datos

Tenga en cuenta los siguientes escenarios al decidir cómo configurar el período de retención:

Auditoría y cumplimiento

Es posible que las organizaciones con requisitos normativos o de cumplimiento necesiten conservar los datos durante períodos más largos para satisfacer las obligaciones de auditoría. La configuración de un período de retención de 90 o 120 días puede proporcionar una ventana histórica más amplia para que los auditores revisen los cambios de datos a lo largo del tiempo.

Desarrollo y pruebas

En el caso de áreas de trabajo de desarrollo o pruebas en las que los datos históricos son menos importantes, un período de retención más corto de 1 a 7 días puede reducir los costos de almacenamiento. Esta reducción es útil cuando el área de trabajo se usa para el desarrollo iterativo o prototipo rápido.

Optimización de costos

Si el almacén experimenta modificaciones frecuentes de datos a gran escala (como cargas completas diarias), el volumen de datos históricos retenidos puede crecer considerablemente. En estos escenarios, reducir el período de retención ayuda a controlar los costos de almacenamiento mientras se mantiene una ventana de recuperación razonable.

Preparación de la recuperación de datos

En el caso de los almacenes de producción, el mantenimiento de un período de retención más largo proporciona más flexibilidad para la recuperación de datos a través de puntos de restauración, clones de tabla y consultas de viaje de tiempo en caso de daños accidentales en los datos.

Cómo afecta la retención configurable a las características dependientes

El período de retención configurado se aplica uniformemente en las siguientes características de Fabric Data Warehouse. Cambiar el período de retención afecta directamente a la disponibilidad y el comportamiento de estas características.

Viaje en el tiempo

El viaje de tiempo le permite consultar los datos tal como existían en un momento pasado dentro del período de retención. La FOR TIMESTAMP AS OF sugerencia de consulta puede recuperar datos desde cualquier punto dentro del período de retención configurado.

Por ejemplo, si el período de retención se establece en 15 días, puede consultar los datos tal como existían hasta 15 días naturales en el pasado.

Clonar tabla

Los clones de tabla se basan en el período de retención. Puede crear un clon de una tabla en un momento pasado en el tiempo solo dentro del período de retención configurado. Si solicita un clon más allá del período de retención, se produce un error.

Puntos de restauración

Use puntos de restauración para restaurar un almacén. El sistema conserva los puntos de restauración generados por el sistema y definidos por el usuario para el período de retención configurado. Una vez expirado el período de retención, el sistema elimina automáticamente los puntos de restauración.

• El almacén crea automáticamente puntos de restauración generados por el sistema cada ocho horas. Estos puntos de restauración están disponibles para el período de retención configurado.
• Los puntos de restauración definidos por el usuario están disponibles para el período de retención configurado. El sistema elimina automáticamente estos puntos de restauración después de la expiración.

Fabric mantiene un número mínimo de puntos de restauración para asegurarse de que siempre haya suficientes puntos de restauración disponibles.

Instantáneas de almacén

Las instantáneas de almacenamiento pueden hacer referencia a datos dentro del período de retención configurado. La marca de tiempo de la instantánea se puede establecer en cualquier punto dentro del período de retención configurado o en el tiempo de creación de la base de datos, lo que sea posterior.

Facturación de almacenamiento

La retención de datos afecta directamente al consumo de almacenamiento de OneLake. Cada versión conservada de los datos ocupa el espacio de almacenamiento y los períodos de retención más largos acumulan más versiones históricas.

Al planear la configuración de retención, tenga en cuenta el equilibrio entre las ventajas del acceso al historial de datos más largo y los costos de almacenamiento asociados. Para más información sobre la supervisión del almacenamiento, consulte Supervisión del uso de la aplicación Métricas de capacidad.

• Archivos de datos retenidos: Las versiones históricas de los datos almacenados como archivos Parquet en OneLake consumen espacio de almacenamiento. El costo de almacenamiento es proporcional al volumen y la frecuencia de las modificaciones de datos en el período de retención.
• Puntos de restauración: los metadatos de los puntos de restauración generados por el sistema y definidos por el usuario también consumen almacenamiento. Sin embargo, los puntos de restauración almacenan principalmente metadatos y hacen referencia a los archivos de datos existentes, por lo que su sobrecarga de almacenamiento es relativamente pequeña.
• Sin cargos de proceso para la retención: no se incurre en ningún cargo de proceso únicamente para conservar los datos históricos. Los cargos de proceso solo se aplican cuando se consultan o restauran datos activamente.

Para calcular el impacto en el almacenamiento de un cambio de período de retención, tenga en cuenta lo siguiente:

• El volumen medio diario de modificaciones de datos en el almacén.
• El período de retención actual y el nuevo período de retención propuesto.
• La diferencia entre los dos períodos multiplicados por el volumen medio de modificación diaria proporciona un cambio aproximado en el consumo de almacenamiento.

Consideraciones de diseño

• Configure el período de retención en función de los requisitos de costo, cumplimiento y recuperación de datos de su organización. El valor predeterminado de 30 días proporciona un equilibrio entre la disponibilidad de datos y el costo de almacenamiento de la mayoría de las cargas de trabajo.
• Coordinar los cambios del período de retención con la estrategia de copia de seguridad y recuperación ante desastres. Asegúrese de que el período de retención se alinea con los objetivos de punto de recuperación (RPO).
• Supervise el consumo de almacenamiento de OneLake después de cambiar el período de retención para comprender el impacto en los costos de almacenamiento.
• Planee los cambios del período de retención durante períodos de baja actividad siempre que sea posible para que no haya ningún impacto en el usuario.
• El período de retención se establece en el nivel de almacenamiento. Si necesita diferentes períodos de retención para distintos conjuntos de datos, considere la posibilidad de organizarlos en almacenes independientes. Actualmente no se admiten las configuraciones de retención a nivel de tabla individual.

Limitaciones

• Especifique el período de retención en días enteros. No se admiten valores fraccionarios.
• Reducir el período de retención no libera inmediatamente el almacenamiento. La limpieza de los datos expirados se produce de forma asincrónica en segundo plano.
• Pausar la capacidad de Microsoft Fabric afecta la actividad de recolección de basura. El proceso no quita los datos históricos anteriores a la configuración de retención de datos actual mientras la capacidad está en pausa. Las actividades de limpieza se ponen al día una vez que se restablece la capacidad.
• La configuración de retención solo se aplica a los almacenes. No se admite el endpoint de análisis SQL de el Lakehouse.
• Los registros de auditoría de Query Insights y SQL no están sujetos a esta directiva de retención de datos y se administran por separado.

Retención de elementos eliminados (en versión preliminar)

La retención de elementos eliminados preserva los almacenes y sus tablas, esquemas, instantáneas, permisos y consultas asociadas guardadas durante un período configurable después de que se eliminen o borren. Esto garantiza que las eliminaciones accidentales no produzcan una pérdida de datos permanente ni interrupciones de impacto empresarial. La retención eliminada garantiza un período de retención mínimo de 7 días naturales y tiene una configuración de retención de nivel de inquilino independiente. Puede configurar el período de retención de elementos eliminados en la configuración de Recuperación de elementos del inquilino.

Paso siguiente

Contenido relacionado

• Restauración en su lugar de un almacén en Microsoft Fabric