Retenção de dados em Fabric Data Warehouse

Aplica-se a:✅ Armazém no Microsoft Fabric

No Microsoft Fabric, um armazém preserva e mantém automaticamente várias versões dos dados com base no período de retenção configurado. Este período de retenção determina até que ponto pode recuar no tempo para fazer consultas de viagem no tempo, criar clones de tabelas, utilizar pontos de restauro e criar instantâneos de armazém.

A retenção de dados começa automaticamente quando cria o armazém. Por defeito, os armazéns mantêm o histórico de dados durante 30 dias corridos. Pode configurar o período de retenção para qualquer valor entre 1 e 120 dias. O sistema apaga automaticamente os ficheiros expirados após o término do período de retenção.

O armazém mantém todas as inserções, atualizações e eliminações dentro do período de retenção configurado.

• Aumentar o período de retenção proporciona uma janela mais longa para consultas de viagem no tempo, clones de tabelas num momento passado, pontos de restauro e instantâneos de armazém. No entanto, um período de retenção mais longo aumenta o consumo de armazenamento e os custos associados.
• Reduzir o período de retenção reduz os custos de armazenamento, mas limita até onde pode consultar ou recuperar dados históricos.

Como funciona a retenção de dados

Quando os dados são modificados, o data warehouse não descarta imediatamente o estado da versão anterior. Em vez disso, as versões anteriores dos dados são preservadas como parte do registo de transações do Delta Lake. Este mecanismo de versionamento é o que permite o funcionamento da viagem no tempo, de clones de tabelas, de pontos de restauro e de capturas instantâneas de armazenamento.

Quando as versões históricas dos dados excedem o período de retenção configurado, um processo de recolha de lixo em segundo plano remove automaticamente os ficheiros expirados do OneLake. Este processo de limpeza corre de forma assíncrona e não afeta consultas ativas nem transações em andamento.

O armazém mede a idade dos dados retidos em dias de calendário absolutos a partir do momento em que a versão dos dados foi criada, incluindo qualquer período em que a capacidade do Microsoft Fabric esteja pausada.

Intervalo de períodos de retenção

Se não configurar explicitamente o período de retenção, os armazéns existentes usam o período de retenção padrão de 30 dias civis. Pode configurar o período de retenção de dados de 1 a 120 dias.

Configurar a retenção de dados

Defina o período de retenção de dados para um armazém usando o comando T-SQL ALTER DATABASE ... SET. Para etapas e mais informações, consulte Como configurar a retenção de dados em Fabric Data Warehouse.

Comportamento ao alterar o período de retenção

Compreender o comportamento ao alterar o período de retenção ajuda-o a planear alterações para evitar perdas inesperadas de dados ou aumentos do tamanho do armazenamento.

Aumento do período de retenção

Quando aumentas o período de retenção, a nova configuração entra em vigor imediatamente. No entanto, não pode recuperar dados históricos que o sistema já limpou durante o período de retenção mais curto anterior. Apenas as versões de dados que ainda existem no OneLake na altura da alteração beneficiam do período prolongado de retenção.

Por exemplo, se o seu armazém tiver atualmente um período de retenção de 7 dias e o aumentar para 60 dias, a alteração aplica-se a partir desse momento. Versões de dados já limpas pelo sistema antes da alteração (com mais de 7 dias) não podem ser recuperadas. No entanto, todas as versões de dados ainda dentro da janela de 7 dias no momento da alteração, juntamente com quaisquer novas versões criadas no futuro, serão mantidas por até 60 dias.

Diminuição do período de retenção

Quando se reduz o período de retenção, as versões de dados que agora estão fora do novo período mais curto tornam-se elegíveis para limpeza. O processo de limpeza corre de forma assíncrona em segundo plano e não acontece instantaneamente. Consultas ativas que já estão em curso não são afetadas.

Por exemplo, se o seu armazém tiver um período de retenção de 30 dias e o reduzir para 7 dias, versões de dados entre 8 e 30 dias tornam-se elegíveis para limpeza de antecedentes.

Data limite de retenção

A time_travel_retention_cutoff_date coluna na vista de catálogo do sistema sys.databases reflete a data real mais antiga a partir da qual os dados de viagem no tempo estão disponíveis, e não o período de retenção atualmente configurado. Os dados reais mais antigos podem ser diferentes do período de retenção configurado.

O período de retenção configurado pelo utilizador define quantos dias de história o sistema deve preservar daqui para a frente. No entanto, o histórico real recuperável depende dos dados preservados antes de quaisquer alterações na retenção.

Duas situações causam uma divergência entre a retenção configurada e o histórico real disponível:

• A retenção foi reduzida — O armazém marca imediatamente os dados históricos mais antigos do que o novo período de retenção para recolha de lixo e remove-os permanentemente.
• A retenção foi subsequentemente aumentada — O armazém não consegue restaurar o histórico apagado. Tem de esperar que o novo histórico se acumule antes de a janela configurada completa estar disponível.

Cenários de retenção de dados

Considere os seguintes cenários ao decidir como configurar o seu período de retenção:

Conformidade e auditoria

Organizações com requisitos regulamentares ou de conformidade podem precisar de reter dados por períodos mais longos para cumprir as obrigações de auditoria. Configurar um período de retenção de 90 ou 120 dias pode proporcionar uma janela histórica mais ampla para os auditores reverem alterações nos dados ao longo do tempo.

Desenvolvimento e testes

Para espaços de trabalho de desenvolvimento ou testes onde os dados históricos são menos importantes, um período de retenção mais curto, de 1 a 7 dias, pode reduzir os custos de armazenamento. Esta redução é útil quando o espaço de trabalho é usado para prototipagem rápida ou desenvolvimento iterativo.

Otimização de custos

Se o seu armazém sofrer modificações frequentes em larga escala de dados (como cargas diárias completas), o volume de dados históricos retidos pode crescer substancialmente. Nestes cenários, reduzir o período de retenção ajuda a controlar os custos de armazenamento, mantendo ainda assim uma janela de recuperação razoável.

Preparação para a recuperação de dados

Para armazéns de produção, manter um período de retenção mais longo oferece maior flexibilidade para a recuperação de dados através de pontos de restauro, clones de tabelas e consultas de viagem no tempo em caso de corrupção acidental de dados.

Como a retenção configurável afeta as características dependentes

O período de retenção configurado aplica-se uniformemente nas seguintes funcionalidades em Fabric Data Warehouse. Alterar o período de retenção afeta diretamente a disponibilidade e o comportamento destas funcionalidades.

Viagem no tempo

A viagem no tempo permite-lhe consultar dados tal como existiam num momento passado dentro do período de retenção. A FOR TIMESTAMP AS OF dica de consulta pode recuperar dados de qualquer ponto dentro do período de retenção configurado.

Por exemplo, se o período de retenção estiver definido para 15 dias, pode consultar dados tal como existiam até 15 dias naturais no passado.

Tabela de clonagem

Os clones de tabela dependem do período de retenção. Só podes criar um clone de uma tabela num momento passado dentro do período de retenção configurado. Se solicitar um clone para além do período de retenção, ocorre um erro.

Pontos de restauro

Use pontos de restauro para restaurar um armazém. O sistema mantém tanto pontos de restauro gerados pelo sistema como definidos pelo utilizador durante o período de retenção configurado. Após o término do período de retenção, o sistema elimina automaticamente os pontos de restauro.

• O armazém cria automaticamente pontos de restauro gerados pelo sistema a cada oito horas. Estes pontos de restauro estão disponíveis durante o período de retenção configurado.
• Pontos de restauro definidos pelo utilizador estão disponíveis durante o período de retenção configurado. O sistema elimina automaticamente estes pontos de restauro após o vencimento.

A Fabric mantém um número mínimo de pontos de restauro para garantir que estejam sempre disponíveis pontos de restauro suficientes.

Capturas do armazém

Instantâneos de armazém podem referenciar dados durante o período de retenção configurado. O timestamp do instantâneo pode ser definido para qualquer ponto dentro do período de retenção configurado ou para a data de criação da base de dados, o que ocorrer mais tarde.

Faturação do armazenamento

A retenção de dados afeta diretamente o consumo de armazenamento do OneLake. Cada versão retida dos dados ocupa espaço de armazenamento, e períodos de retenção mais longos acumulam mais versões históricas.

Ao planear a configuração de retenção, considere o equilíbrio entre os benefícios de um acesso ao histórico de dados mais longo e os custos de armazenamento associados. Para mais informações sobre monitorização de armazenamento, consulte a aplicação Monitorizar usando Métricas de Capacidade.

• Ficheiros de dados retidos: Versões históricas dos dados armazenados como ficheiros de parquet no OneLake consomem armazenamento. O custo de armazenamento é proporcional ao volume e à frequência das modificações de dados durante o período de retenção.
• Pontos de restauro: Os metadados dos pontos de restauro gerados pelo sistema e definidos pelo utilizador também consomem armazenamento. No entanto, os pontos de restauro armazenam principalmente metadados e referenciam ficheiros de dados existentes, pelo que a sua sobrecarga de armazenamento é relativamente pequena.
• Sem custos de computação por retenção: Não existem custos de cálculo incorridos apenas pela retenção de dados históricos. As cobranças de computação aplicam-se apenas quando consulta ou restaura dados ativamente.

Para estimar o impacto do armazenamento de uma alteração no período de retenção, considere:

• O volume médio diário de modificações de dados no seu armazém.
• O período de retenção atual e o novo período de retenção proposto.
• A diferença entre os dois períodos, multiplicada pelo volume médio diário de modificações, dá uma variação aproximada no consumo de armazenamento.

Considerações de design

• Configure o período de retenção com base nos requisitos de recuperação de dados, conformidade e custos da sua organização. O padrão de 30 dias proporciona um equilíbrio entre disponibilidade de dados e custo de armazenamento para a maioria das cargas de trabalho.
• Coordene as alterações no período de retenção com a sua estratégia de backup e recuperação de desastres. Certifique-se de que o período de retenção está alinhado com os seus objetivos de pontos de recuperação (RPO).
• Monitorize o consumo de armazenamento do OneLake após alterar o período de retenção para compreender o impacto nos custos de armazenamento.
• Planeie mudanças no período de retenção durante períodos de baixa atividade, sempre que possível, para que não haja impacto sobre o utilizador.
• O período de retenção é definido ao nível do armazém. Se precisares de períodos de retenção diferentes para diferentes conjuntos de dados, considera organizá-los em armazéns separados. As definições individuais de retenção ao nível da tabela não são atualmente suportadas.

Limitações

• Especifique o período de retenção em dias inteiros. Valores fracionários não são suportados.
• Reduzir o período de retenção não recupera imediatamente o armazenamento. A limpeza de dados expirados ocorre de forma assíncrona em segundo plano.
• Pausar a capacidade do Microsoft Fabric afeta a atividade de limpeza de lixo. O processo não remove dados históricos que sejam mais antigos do que as definições atuais de retenção de dados enquanto a capacidade está pausada. As atividades de limpeza retomam quando a capacidade é retomada.
• A definição de retenção aplica-se apenas a armazéns. O endpoint de análise SQL do Lakehouse não é suportado.
• O Query Insights e os registos de auditoria SQL não estão sujeitos a esta política de retenção de dados e são geridos separadamente.

Retenção de itens eliminados (pré-visualização)

A retenção de itens descartados preserva armazéns e as suas tabelas, esquemas, snapshots, permissões e consultas guardadas, durante um período configurável após serem descartados ou apagados. Isto garante que as eliminações acidentais não resultem em perda permanente de dados ou falhas que afetem o negócio. A retenção descontinuada garante um período mínimo de retenção de 7 dias corridos e tem uma configuração de retenção separada ao nível do inquilino. Podes configurar o período de retenção dos itens descartados na configuração Recuperação de Itens do tenant.

Próximo passo

Conteúdo relacionado

• Restaurar no lugar um armazém no Microsoft Fabric