Retenção de dados no Fabric Data Warehouse

Aplica-se a:✅Armazém de dados no Microsoft Fabric

Em Microsoft Fabric, um warehouse preserva e mantém automaticamente várias versões dos dados com base no período de retenção configurado. Esse período de retenção determina até que ponto no passado você pode executar consultas de viagem no tempo, criar clones de tabela, usar pontos de restauração e criar instantâneos de armazém.

A retenção de dados é iniciada automaticamente quando você cria o warehouse. Por padrão, os armazéns retêm o histórico de dados por 30 dias. Você pode configurar o período de retenção para qualquer valor entre 1 e 120 dias. O sistema exclui automaticamente arquivos expirados após o término do período de retenção.

O data warehouse retém todas as inserções, atualizações e exclusões dentro do período de retenção configurado.

• Aumentar o período de retenção fornece uma janela mais longa para consultas temporais, clones de tabela em um ponto específico no passado, pontos de restauração e instantâneos de data warehouse. No entanto, um período de retenção mais longo aumenta o consumo de armazenamento e os custos associados.
• Diminuir o período de retenção reduz os custos de armazenamento, mas limita o quanto você pode consultar ou recuperar dados históricos.

Como a política de retenção de dados funciona

Quando os dados são modificados, o warehouse não descarta imediatamente o estado da versão anterior. Em vez disso, as versões anteriores dos dados são preservadas como parte do log de transações do Delta Lake. Esse mecanismo de versionamento é o que permite o funcionamento de viagens no tempo, clones de tabelas, pontos de restauração e instantâneos de armazéns.

Quando as versões de dados históricos excedem o período de retenção configurado, um processo de coleta de lixo em segundo plano remove automaticamente os arquivos expirados do OneLake. Esse processo de limpeza é executado de forma assíncrona e não afeta consultas ativas ou transações em andamento.

O warehouse mede a idade dos dados retidos em dias de calendário absolutos a partir do momento em que a versão de dados foi criada, inclusive durante o período em que a capacidade do Microsoft Fabric está pausada.

Intervalo de períodos de retenção

Se você não configurar explicitamente o período de retenção, os armazéns existentes usarão o período de retenção padrão de 30 dias. Você pode configurar o período de retenção de dados de 1 a 120 dias.

Configurar retenção de dados

Defina o período de retenção de dados para um warehouse usando o ALTER DATABASE... Comando SET T-SQL. Para obter etapas e mais informações, consulte Como configurar a retenção de dados no Fabric Data Warehouse.

Comportamento ao alterar o período de retenção

Entender o comportamento quando você altera o período de retenção ajuda você a planejar alterações para evitar perda inesperada de dados ou aumentos de tamanho de armazenamento.

Aumentando o período de retenção

Quando você aumenta o período de retenção, a nova configuração entra em vigor imediatamente. No entanto, você não pode recuperar dados históricos que o sistema já limpou no período de retenção mais curto anterior. Somente as versões de dados que ainda existem no OneLake no momento da alteração se beneficiam do período de retenção estendido.

Por exemplo, se o seu armazém atualmente tiver um período de retenção de 7 dias e você o aumentar para 60 dias, a alteração se aplicará desse ponto em diante. As versões de dados já limpas pelo sistema antes da alteração (mais de 7 dias) não podem ser recuperadas. No entanto, todas as versões de dados ainda dentro da janela de 7 dias no momento da alteração, juntamente com as versões recém-criadas daqui para frente, serão mantidas por até 60 dias.

Diminuindo o período de retenção

Quando você diminui o período de retenção, as versões de dados que agora estão fora do novo período de retenção mais curto tornam-se elegíveis para limpeza. O processo de limpeza é executado de forma assíncrona em segundo plano e não acontece instantaneamente. As consultas ativas que já estão em andamento não são afetadas.

Por exemplo, caso o seu depósito tenha retenção de 30 dias e você reduza para 7 dias, as versões de dados entre 8 e 30 dias ficarão disponíveis para limpeza em segundo plano.

Data de corte de retenção

A time_travel_retention_cutoff_date coluna na visualização de catálogo do sistema sys.databases reflete a data real mais antiga da qual os dados de viagem no tempo estão disponíveis, não o período de retenção atualmente configurado. Os dados reais mais antigos podem ser diferentes do período de retenção configurado.

O período de retenção configurado pelo usuário define quantos dias de histórico o sistema deve preservar daqui para frente. No entanto, o histórico recuperável real depende de quais dados foram preservados antes de qualquer modificação nas políticas de retenção.

Duas situações causam uma divergência entre a retenção configurada e o histórico real disponível:

• A retenção foi reduzida – o armazém marca imediatamente dados históricos mais antigos do que o novo período de retenção para coleta de lixo e os remove permanentemente.
• A retenção foi posteriormente aumentada – o armazém não pode restaurar o histórico excluído. Ele deve aguardar o novo histórico se acumular antes que a janela configurada completa esteja disponível.

Cenários de retenção de dados

Considere os seguintes cenários ao decidir como configurar o período de retenção:

Conformidade e auditoria

As organizações com requisitos regulatórios ou de conformidade podem precisar reter dados por períodos mais longos para atender às obrigações de auditoria. Configurar um período de retenção de 90 ou 120 dias pode fornecer uma janela histórica mais ampla para os auditores revisarem as alterações de dados ao longo do tempo.

Desenvolvimento e teste

Para espaços de trabalho de desenvolvimento ou teste em que os dados históricos são menos importantes, um período de retenção mais curto de 1 a 7 dias pode reduzir os custos de armazenamento. Essa redução é útil quando o workspace é usado para criação rápida de protótipos ou desenvolvimento iterativo.

Otimização de custos

Se o seu armazém passar por modificações frequentes de dados em grande escala (como cargas completas diárias), o volume de dados históricos retidos poderá aumentar substancialmente. Nesses cenários, a redução do período de retenção ajuda a controlar os custos de armazenamento, mantendo uma janela de recuperação razoável.

Preparação de recuperação de dados

Para os armazéns de produção, manter um período de retenção mais longo fornece mais flexibilidade para a recuperação de dados por meio de pontos de restauração, clones de tabela e consultas de viagem no tempo em caso de corrupção acidental de dados.

Como a retenção configurável afeta as funcionalidades dependentes

O período de retenção configurado aplica-se uniformemente nos seguintes recursos em Fabric Data Warehouse. Alterar o período de retenção afeta diretamente a disponibilidade e o comportamento desses recursos.

Viagem no tempo

A viagem no tempo permite que você consulte dados como eles existiam em um ponto passado no tempo dentro do período de retenção. A FOR TIMESTAMP AS OF dica de consulta pode recuperar dados de qualquer ponto dentro do período de retenção configurado.

Por exemplo, se o período de retenção for definido como 15 dias, você poderá consultar dados, pois eles existiam até 15 dias de calendário no passado.

Clonar tabela

Clones de tabelas dependem do período de retenção. Você pode criar um clone de uma tabela em um ponto passado no tempo somente dentro do período de retenção configurado. Se você solicitar um clone além do período de retenção, ocorrerá um erro.

Pontos de restauração

Use pontos de restauração para restaurar um armazém. O sistema retém pontos de restauração gerados pelo sistema e definidos pelo usuário para o período de retenção configurado. Depois que o período de retenção expira, o sistema exclui automaticamente os pontos de restauração.

• O warehouse cria automaticamente pontos de restauração gerados pelo sistema a cada oito horas. Esses pontos de restauração estão disponíveis para o período de retenção configurado.
• Os pontos de restauração definidos pelo usuário estão disponíveis para o período de retenção configurado. O sistema exclui automaticamente esses pontos de restauração após a expiração.

Fabric mantém um número mínimo de pontos de restauração para garantir que pontos de restauração suficientes estejam sempre disponíveis.

Instantâneos do armazém

Os instantâneos do armazém podem referenciar dados dentro do período de retenção configurado. O carimbo de data/hora do instantâneo pode ser definido para qualquer ponto dentro do período de retenção configurado ou para o tempo de criação do banco de dados, o que for posterior.

Cobrança do armazenamento

A retenção de dados afeta diretamente o consumo de armazenamento do OneLake. Cada versão retida de dados ocupa espaço de armazenamento e períodos de retenção mais longos acumulam mais versões históricas.

Ao planejar a configuração de retenção, considere a compensação entre os benefícios do acesso mais longo ao histórico de dados e os custos de armazenamento associados. Para obter mais informações sobre como monitorar o armazenamento, consulte Monitor usando o aplicativo Métricas de Capacidade.

• Arquivos de dados retidos: versões históricas de dados armazenados como arquivos parquet no OneLake ocupam espaço de armazenamento. O custo de armazenamento é proporcional ao volume e à frequência das modificações de dados no período de retenção.
• Pontos de restauração: os metadados para pontos de restauração gerados pelo sistema e definidos pelo usuário também consomem armazenamento. No entanto, os pontos de restauração armazenam principalmente metadados e fazem referência a arquivos de dados existentes, portanto, a sobrecarga de armazenamento é relativamente pequena.
• Sem encargos de computação para retenção: não há encargos de computação incorridos apenas para reter dados históricos. Os encargos de computação se aplicam somente quando você consulta ou restaura dados ativamente.

Para estimar o impacto do armazenamento de uma alteração de período de retenção, considere:

• O volume diário médio de modificações de dados em seu armazém.
• O período de retenção atual e o novo período de retenção proposto.
• O delta entre os dois períodos multiplicado pelo volume médio de modificação diária proporciona uma alteração aproximada no consumo de armazenamento.

Considerações sobre o design

• Configure o período de retenção com base nos requisitos de custo, conformidade e recuperação de dados da sua organização. O padrão de 30 dias fornece um equilíbrio entre a disponibilidade de dados e o custo de armazenamento para a maioria das cargas de trabalho.
• Coordene as alterações do período de retenção com sua estratégia de backup e recuperação de desastre. Verifique se o período de retenção está alinhado com seus RPO (objetivos de ponto de recuperação).
• Monitore o consumo de armazenamento do OneLake depois de alterar o período de retenção para entender o impacto nos custos de armazenamento.
• Planeje alterações no período de retenção durante períodos de baixa atividade, quando possível, para que não haja nenhum impacto do usuário.
• O período de retenção é definido no nível do armazém. Se você precisar de períodos de retenção diferentes para conjuntos de dados diferentes, considere organizá-los em armazéns separados. No momento, configurações individuais de retenção no nível da tabela não são suportadas.

Limitações

• Especifique o período de retenção em dias inteiros. Não há suporte para valores fracionários.
• A diminuição do período de retenção não recupera imediatamente o armazenamento. A limpeza de dados expirados ocorre de forma assíncrona em segundo plano.
• Pausar a capacidade de Microsoft Fabric afeta a atividade de limpeza de lixo. O processo não remove dados históricos mais antigos do que as configurações de retenção de dados atuais enquanto a capacidade está pausada. As atividades de limpeza retomam seu ritmo assim que a capacidade é recuperada.
• A configuração de retenção se aplica somente a armazéns. Não há suporte para o endpoint de análise SQL do Lakehouse.
• Os logs de auditoria do Query Insights e do SQL não estão sujeitos a essa política de retenção de dados e são gerenciados separadamente.

Retenção de item descontinuado (visualização preliminar)

A retenção de itens descartados preserva os armazéns e suas tabelas, esquemas, instantâneos, permissões e consultas salvas associadas por um período configurável após serem descartadas ou excluídas. Isso garante que exclusões acidentais não resultem em perda permanente de dados ou interrupções que afetam os negócios. A retenção interrompida garante um período mínimo de retenção de 7 dias corridos e tem uma configuração de retenção separada no nível de inquilino. Você pode configurar o período de retenção de item descartado na configuração de recuperação de item do tenant.

Próxima etapa

Conteúdo relacionado

• Restaurar no local de um armazém no Microsoft Fabric