Conservation des données dans Fabric Data Warehouse

S’applique à :✅Entrepôt dans Microsoft Fabric

Dans Microsoft Fabric, un entrepôt conserve et gère automatiquement différentes versions des données en fonction de la période de rétention configurée. Cette période de rétention détermine jusqu'à quelle date vous pouvez effectuer des requêtes de voyage dans le temps, créer des clones de table, utiliser des points de restauration et créer des instantanés d’entrepôt de données.

La rétention des données démarre automatiquement lorsque vous créez l’entrepôt. Par défaut, les entrepôts conservent l’historique des données pendant 30 jours calendriers. Vous pouvez configurer la période de rétention sur n’importe quelle valeur comprise entre 1 et 120 jours. Le système supprime automatiquement les fichiers expirés après la fin de la période de rétention.

L’entrepôt conserve toutes les insertions, mises à jour et suppressions au cours de la période de rétention configurée.

• L’augmentation de la période de rétention offre une fenêtre plus longue pour les requêtes de voyage dans le temps, les clones de tables à un moment antérieur, les points de restauration et les instantanés d’entrepôts. Toutefois, une période de rétention plus longue augmente la consommation de stockage et les coûts associés.
• La réduction de la période de rétention réduit les coûts de stockage, mais limite la distance à laquelle vous pouvez interroger ou récupérer des données historiques.

Fonctionnement de la conservation des données

Lorsque les données sont modifiées, l’entrepôt ne supprime pas immédiatement la version précédente des données. Au lieu de cela, les versions antérieures des données sont conservées dans le journal des transactions Delta Lake. Ce mécanisme de versionnage permet le voyage dans le temps, les clones de table, les points de restauration et les instantanés d'entrepôt.

Lorsque les versions de données historiques dépassent la période de rétention configurée, un processus de garbage collection d’arrière-plan supprime automatiquement les fichiers expirés de OneLake. Ce processus de nettoyage s’exécute de manière asynchrone et n’affecte pas les requêtes actives ou les transactions en cours.

L’entrepôt mesure l’âge des données conservées dans les jours calendriers absolus à partir du moment où la version des données a été créée, y compris à tout moment où la capacité de Microsoft Fabric est suspendue.

Plage de période de rétention

Si vous ne configurez pas explicitement la période de rétention, les entrepôts existants utilisent la période de rétention par défaut de 30 jours calendriers. Vous pouvez configurer la période de rétention des données de 1 à 120 jours.

Configurer la conservation des données

Définissez la période de rétention des données pour un entrepôt à l’aide de ALTER DATABASE ... Commande SET T-SQL. Pour connaître les étapes et obtenir plus d’informations, consultez Comment configurer la rétention des données dans Fabric Data Warehouse.

Comportement lors de la modification de la période de rétention

Comprendre le comportement lorsque vous modifiez la période de rétention vous aide à planifier les modifications pour éviter une perte de données inattendue ou une taille de stockage accrue.

Augmentation de la période de rétention

Lorsque vous augmentez la période de rétention, le nouveau paramètre prend effet immédiatement. Toutefois, vous ne pouvez pas récupérer les données historiques que le système a déjà nettoyées au cours de la période de rétention plus courte précédente. Seules les versions de données qui existent toujours dans OneLake au moment de la modification bénéficient de la période de rétention prolongée.

Par exemple, si votre entrepôt a actuellement une période de rétention de 7 jours et que vous l’augmentez à 60 jours, la modification s’applique à partir de ce stade. Les versions de données déjà nettoyées par le système avant la modification (antérieures à 7 jours) ne peuvent pas être récupérées. Toutefois, toutes les versions de données toujours dans la fenêtre de 7 jours au moment de la modification, ainsi que toutes les versions nouvellement créées à l’avenir, seront conservées pendant jusqu’à 60 jours.

Diminution de la période de rétention

Lorsque vous diminuez la période de rétention, les versions de données qui se trouvent désormais en dehors de la nouvelle période de rétention plus courte deviennent éligibles pour le nettoyage. Le processus de nettoyage s’exécute de manière asynchrone en arrière-plan et ne se produit pas instantanément. Les requêtes actives qui sont déjà en cours ne sont pas affectées.

Par exemple, si votre entrepôt a une période de rétention de 30 jours et que vous la réduisez à 7 jours, les versions de données comprises entre 8 et 30 jours sont éligibles au nettoyage en arrière-plan.

Date limite de conservation

La time_travel_retention_cutoff_date colonne de la vue du catalogue système sys.databases reflète la date la plus ancienne réelle à partir de laquelle les données historiques sont disponibles, et non la période de rétention actuellement configurée. Les données réelles les plus anciennes peuvent être différentes de la période de rétention configurée.

La période de rétention configurée par l’utilisateur définit le nombre de jours d’historique que le système doit conserver à l’avenir. Toutefois, l’historique récupérable réel dépend des données conservées avant toute modification de rétention.

Deux situations provoquent une divergence entre la rétention configurée et l’historique disponible réel :

• La rétention a été réduite — L’entrepôt marque immédiatement les données historiques antérieures à la nouvelle période de rétention pour le nettoyage et les suppriment définitivement.
• La rétention a ensuite été augmentée : l’entrepôt ne peut pas restaurer l’historique supprimé. Il doit attendre que le nouvel historique s’accumule avant que la fenêtre configurée complète soit disponible.

Scénarios de rétention des données

Tenez compte des scénarios suivants quand vous décidez comment configurer votre période de rétention :

Conformité et audit

Les organisations ayant des exigences réglementaires ou de conformité peuvent avoir besoin de conserver les données pendant des périodes plus longues pour satisfaire aux obligations d’audit. La configuration d’une période de rétention de 90 ou 120 jours peut fournir une fenêtre historique plus large pour les auditeurs afin d’examiner les modifications des données au fil du temps.

Développement et test

Pour les espaces de travail de développement ou de test où les données historiques sont moins importantes, une période de rétention plus courte de 1 à 7 jours peut réduire les coûts de stockage. Cette réduction est utile lorsque l’espace de travail est utilisé pour le prototypage rapide ou le développement itératif.

Optimisation des coûts

Si votre entrepôt subit des modifications fréquentes de données à grande échelle (telles que les charges complètes quotidiennes), le volume de données historiques conservées peut croître considérablement. Dans ces scénarios, la réduction de la période de rétention permet de contrôler les coûts de stockage tout en conservant une fenêtre de récupération raisonnable.

Préparation à la récupération des données

Pour les entrepôts de production, la conservation d’une période de rétention plus longue offre une plus grande flexibilité pour la récupération des données par le biais de points de restauration, de clones de tables et de requêtes de déplacement de temps en cas de corruption accidentelle des données.

Comment la rétention configurable affecte les fonctionnalités dépendantes

La période de rétention configurée s’applique uniformément aux fonctionnalités suivantes dans Fabric Data Warehouse. La modification de la période de rétention a un impact direct sur la disponibilité et le comportement de ces fonctionnalités.

Voyage dans le temps

Le voyage dans le temps vous permet d’interroger les données telles qu’elles existaient à un moment passé dans le temps pendant la période de rétention. L’indicateur FOR TIMESTAMP AS OF de requête peut récupérer des données à partir de n’importe quel point dans la période de rétention configurée.

Par exemple, si la période de rétention est définie sur 15 jours, vous pouvez interroger les données telles qu’elles existaient jusqu’à 15 jours calendriers auparavant.

Cloner une table

Les clones de table s’appuient sur la période de rétention. Vous pouvez créer un clone d’une table à un moment passé uniquement au cours de la période de rétention configurée. Si vous demandez un clone au-delà de la période de rétention, une erreur se produit.

Points de restauration

Utilisez des points de restauration pour restaurer un entrepôt. Le système conserve les points de restauration générés par le système et définis par l’utilisateur pour la période de rétention configurée. Une fois la période de rétention expirée, le système supprime automatiquement les points de restauration.

• L’entrepôt crée automatiquement des points de restauration générés par le système toutes les huit heures. Ces points de restauration sont disponibles pour la période de rétention configurée.
• Les points de restauration définis par l’utilisateur sont disponibles pour la période de rétention configurée. Le système supprime automatiquement ces points de restauration après l’expiration.

Fabric conserve un nombre minimal de points de restauration pour garantir que les points de restauration suffisants sont toujours disponibles.

Captures instantanées de l’entrepôt

Les instantanés d’entrepôt peuvent référencer des données au cours de la période de rétention configurée. L’horodatage d’instantané peut être fixé à n’importe quel moment au sein de la période de rétention configurée ou à l’heure de création de la base de données, selon celle qui est la plus tardive.

Facturation du stockage

La rétention des données affecte directement la consommation de stockage OneLake. Chaque version conservée des données occupe un espace de stockage et des périodes de rétention plus longues accumulent davantage de versions historiques.

Lors de la planification de la configuration de rétention, envisagez le compromis entre les avantages d’un accès plus long à l’historique des données et les coûts de stockage associés. Pour plus d’informations sur la surveillance du stockage, consultez Surveiller à l’aide de l’application Métriques de capacité.

• Fichiers de données conservés : les versions historiques des données stockées sous forme de fichiers Parquet dans OneLake consomment le stockage. Le coût de stockage est proportionnel au volume et à la fréquence des modifications de données dans la période de rétention.
• Points de restauration : les métadonnées des points de restauration générés par le système et définis par l’utilisateur consomment également le stockage. Toutefois, les points de restauration stockent principalement les métadonnées et référencent les fichiers de données existants, de sorte que leur surcharge de stockage est relativement petite.
• Aucun frais de calcul pour la rétention : il n’y a pas de frais de calcul encourus uniquement pour la conservation des données historiques. Les frais de calcul s’appliquent uniquement lorsque vous interrogez ou restaurez activement des données.

Pour estimer l’impact du stockage d’une modification de période de rétention, tenez compte des éléments suivants :

• Volume quotidien moyen de modifications de données dans votre entrepôt.
• Période de rétention actuelle et nouvelle période de rétention proposée.
• Le delta entre les deux périodes multipliée par le volume moyen de modification quotidienne donne une modification approximative de la consommation de stockage.

Considérations relatives à la conception

• Configurez la période de rétention en fonction des exigences de récupération, de conformité et de coût des données de votre organisation. La valeur par défaut de 30 jours fournit un équilibre entre la disponibilité des données et le coût de stockage pour la plupart des charges de travail.
• Coordonner les modifications de la période de rétention avec votre stratégie de sauvegarde et de récupération d’urgence. Assurez-vous que la période de rétention s’aligne sur vos objectifs de point de récupération (RPO).
• Surveillez la consommation de stockage OneLake après avoir modifié la période de rétention pour comprendre l’impact sur les coûts de stockage.
• La période de rétention du plan change pendant les périodes de faible activité si possible afin qu’il n’y ait aucun impact sur l’utilisateur.
• La période de rétention est définie au niveau de l’entrepôt. Si vous avez besoin de périodes de rétention différentes pour différents jeux de données, envisagez de les organiser dans des entrepôts distincts. Les paramètres de rétention individuels au niveau de la table ne sont actuellement pas pris en charge.

Limitations

• Spécifiez la période de rétention en jours entiers. Les valeurs fractionnelles ne sont pas prises en charge.
• La diminution de la période de rétention ne récupère pas immédiatement le stockage. Le nettoyage des données expirées se produit de manière asynchrone en arrière-plan.
• La suspension de la capacité de Microsoft Fabric affecte l’activité de nettoyage des déchets. Le processus ne supprime pas les données historiques antérieures aux paramètres de rétention de données actuels pendant que la capacité est suspendue. Les activités de nettoyage se rattrapent une fois la capacité reprise.
• Le paramètre de rétention s’applique uniquement aux entrepôts. Le point de terminaison d’analytique SQL de Lakehouse n’est pas pris en charge.
• Les journaux d’audit Query Insights et SQL ne sont pas soumis à cette stratégie de rétention des données et sont gérés séparément.

Rétention des éléments supprimés (préversion)

La conservation des éléments supprimés préserve les entrepôts ainsi que leurs tables associées, schémas, instantanés, autorisations et requêtes enregistrées pendant une période configurable après leur suppression ou leur effacement. Cela garantit que les suppressions accidentelles n’entraînent pas de perte de données permanente ou d’interruptions d’impact sur l’entreprise. La rétention supprimée garantit une période de rétention minimale de 7 jours calendriers et a une configuration de rétention au niveau du locataire distincte. Vous pouvez configurer la période de rétention des éléments supprimés dans le paramètre du locataire Récupération d’élément.

Étape suivante

Contenu connexe

• Restore sur place d’un entrepôt dans Microsoft Fabric