Transformar dados com filtros e divisões em Microsoft Sentinel

À medida que os volumes de dados de segurança continuam a crescer, as organizações enfrentam o desafio de equilibrar a retenção económica de telemetria utilizada para IA, conformidade e investigações, garantindo ao mesmo tempo que apenas os dados necessários são retidos em camadas de armazenamento de alto desempenho. Utilize transformações de filtros e dados divididos no Microsoft Sentinel para enfrentar este desafio ao modificar os dados no momento da ingestão para otimizar a sua estratégia de retenção de dados.

Este artigo descreve como configurar transformações de dados de filtro e divisão sem a necessidade de criar manualmente configurações de Regra de Recolha de Dados (DCR) personalizadas. Ao personalizar a ingestão de dados, estas transformações melhoram o desempenho e reduzem o ruído.

Ao utilizar transformações de dados, pode otimizar o pipeline de dados de segurança ao controlar os dados armazenados e em que camada. A utilização de transformações de filtros e divisões proporciona as seguintes vantagens:

• Otimização de custos: reduza os custos de armazenamento e processamento ao filtrar dados de baixo valor que não contribuem para a deteção de ameaças. Encaminhe os dados acedidos com menos frequência para o Data Lake Storage económico, mantendo os dados de alta prioridade na camada Análise.

• Eficiência do SOC melhorada: concentre o centro de operações de segurança (SOC) em eventos acionáveis e de alto valor. Ao remover o ruído no tempo de ingestão, os analistas passam menos tempo a vasculhar registos irrelevantes e mais tempo a investigar ameaças reais.

• Desempenho de consultas mais rápido: conjuntos de dados mais pequenos na camada Análise resultam em tempos de execução de consultas mais rápidos. Esta melhoria torna a investigação de ameaças, investigações de incidentes e regras de análise mais reativas.

• Flexibilidade de conformidade e retenção: mantenha a retenção de dados abrangente para auditorias regulamentares e análise forense na camada data lake ao otimizar o escalão Análise para cargas de trabalho operacionais. Esta abordagem cumpre os requisitos de conformidade sem sacrificar o desempenho.

• Gestão de dados dimensionável: à medida que os volumes de dados da sua organização aumentam, as transformações ajudam-no a manter o controlo sobre os custos e o desempenho. Aplique políticas consistentes entre tabelas para garantir uma gestão de dados previsível.

As transformações de filtragem e divisão são os primeiros passos numa arquitetura de transformação maior que lhe permite desenvolver os seus dados de acordo com as suas necessidades. Para obter mais informações sobre os conceitos de transformação de dados, veja Ingestão e transformação de dados personalizados no Microsoft Sentinel.

Pré-requisitos

Antes de configurar regras de transformação de filtros ou divisões, verifique os seguintes requisitos:

• A área de trabalho Microsoft Sentinel tem de ser integrada no portal do Defender. Para obter mais informações, veja Ligar Microsoft Sentinel ao portal do Microsoft Defender.

• No portal Microsoft Defender com o controlo de acesso baseado em funções (RBAC) unificado, permissões de Dados (gerir) no grupo Permissões de operações de dados.

• Para a área de trabalho Microsoft Sentinel, precisa das seguintes permissões:

• Função Contribuidor do Log Analytics a fornecer:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write permissions para a área de trabalho do Log Analytics.

Tabelas suportadas

As transformações de filtragem e divisão têm requisitos de suporte de tabelas diferentes:

• Filtragem: suportada em qualquer tabela que suporte Regras de Recolha de Dados (DCRs).
• Divisão: suportada em qualquer tabela que suporte ingestão apenas de Análise, Ingestão apenas de Data Lake e Regras de Recolha de Dados (DCRs).

Para verificar se as tabelas de um conector suportam DCRs, consulte Localizar o conector de dados Microsoft Sentinel.

Filtrar transformações

As transformações de filtro permitem-lhe reduzir o ruído ao eliminar dados durante a ingestão que não são úteis para investigações. Utilize uma regra de transformação de filtro para especificar uma condição KQL que determina os dados a filtrar, com os dados restantes enviados para a camada Análise.

Utilize transformações de filtro quando precisar de:

• Reduzir o ruído: concentre o SOC em eventos acionáveis ao filtrar os registos de rotina e de baixa gravidade, como eventos "permitir" dos registos da firewall.
• Otimizar os custos: reduza os custos de armazenamento e processamento ao eliminar dados que não contribuem para a deteção de ameaças.
• Melhorar o desempenho: acelere as consultas e simplifique a análise ao reduzir o volume de dados armazenados.

Considere o seguinte exemplo de uma transformação de filtro:

A sua empresa depende de registos de firewall para identificar anomalias. A maioria dos registos da firewall são eventos de rotina "permitir" com baixa gravidade que não contribuem para a deteção de ameaças. Para reter apenas eventos críticos, como tráfego bloqueado ou gravidade elevada, e filtrar registos de baixo valor, crie uma regra de transformação de filtro com uma condição KQL para enviar apenas dados de gravidade média ou alta que não sejam eventos "permitir" para a camada De análise.

Transformações divididas

As transformações divididas permitem-lhe encaminhar dados entre a camada Análise e a camada data lake com base nas condições especificadas. Utilize uma regra de transformação dividida para definir uma expressão KQL que determina quais os dados que estão no Analytics. Os dados que não correspondem à expressão são encaminhados apenas para a camada data lake.

Utilize transformações divididas quando precisar de equilibrar o custo e o desempenho ao encaminhar os dados para a camada de armazenamento adequada:

• Otimizar os custos de armazenamento: encaminhe os registos acedidos mais antigos ou menos frequentemente para a camada data lake para armazenamento de longo prazo económico.
• Manter o desempenho: mantenha os registos recentes no escalão Análise para consultas mais rápidas durante a investigação de ameaças ativas.
• Cumprir os requisitos de conformidade: mantenha os registos históricos das auditorias regulamentares e da análise forense sem sacrificar a agilidade operacional.

Considere o seguinte exemplo de uma transformação dividida:

A sua empresa ingere milhões de entradas de registo de firewall diariamente para deteção e conformidade de ameaças. A sua equipa do SOC precisa de acesso em tempo real aos registos recentes para investigações ativas, mas também tem de manter registos históricos para auditorias regulamentares. Crie uma regra de transformação dividida para encaminhar dados em tempo real para a camada Análise e dados históricos para a camada data lake.

Configurar regras de transformação de filtros

Siga estes passos para criar uma regra de transformação de filtro:

1. No portal Microsoft Defender, aceda a Microsoft Sentinel>Configuração>tabelas.

2. Selecione uma tabela. No painel lateral, selecione Regra de filtro.

   

3. No painel lateral, introduza um Nome da regra.

4. No campo Condição , introduza uma expressão KQL que designe os dados a filtrar. A expressão KQL deve ser avaliada como verdadeira para os dados que não pretende ingerir.

5. Defina a regra status mudar para Ativado para ativar o filtro.

   Importante

   Os filtros filtram os dados. Os dados que correspondem à condição de filtro são eliminados e não são ingeridos nas camadas Analytics ou Data Lake. Certifique-se de que a expressão KQL captura com precisão os dados que pretende excluir.

6. Para adicionar outra condição, selecione Adicionar condição e introduza uma nova expressão KQL para filtrar os dados. Várias condições são combinadas com um OR lógico, pelo que os dados que correspondem a qualquer uma das condições são filtrados.

7. Selecione Guardar para aplicar a regra.

8. Verifique se a regra de filtro é aplicada ao verificar a coluna Regras de Transformação da tabela. A coluna apresenta Filtrar quando uma regra de filtro está ativa.

   

Configurar uma regra de transformação dividida

Siga estes passos para criar uma regra de transformação dividida:

1. No portal do Defender, aceda a Microsoft Sentinel>Configuração>tabelas.

2. Selecione uma tabela e, em seguida, selecione Regra de divisão.

3. No painel lateral, introduza um Nome da regra.

4. No campo expressão KQL , introduza a expressão KQL que define os dados a ingerir na camada Análise. Os dados que não correspondem a esta expressão são ingeridos na camada data lake.

5. Selecione Guardar para aplicar a regra.

6. Verifique se a regra de divisão é aplicada ao verificar a coluna Regras de Transformação da tabela. A coluna apresenta Dividir quando uma regra de divisão está ativa.

Configurar a retenção para tabelas divididas

Depois de criar uma regra de divisão, configure as definições de retenção para cada camada:

1. Na tabela original, veja as tabelas de análise e data lakedivididas resultantes.

2. Para configurar a retenção, selecione a tabela Analytics ou Data lake.

3. Selecione Definições de retenção de dados.

4. Configure o período de retenção e guarde.

Em alternativa, selecione a tabela original e configure a retenção do Data Lake e do Analytics na caixa de diálogo Definições combinadas de retenção de dados .

Gerir regras

Para gerir regras existentes, selecione a tabela e, em seguida, selecione Regra de divisão ou Regra de filtro consoante o tipo de regra que pretende gerir.

• Para desativar uma regra, selecione a regra status mudar para desativar a regra e, em seguida, selecione Guardar.
• Elimine uma regra ao selecionar Eliminar.

Verifique as regras ao executar consultas KQL para confirmar que os dados são ingeridos corretamente e encaminhados para a camada correta.

Limitações conhecidas

Tenha em atenção as seguintes limitações ao utilizar transformações de filtro e divisão:

• Visibilidade da tabela XDR: as transformações de divisão e filtro aplicadas a tabelas XDR não aparecem na Investigação Avançada durante os primeiros 30 dias de dados. As transformações são aplicadas e, uma vez que os dados vão além dos primeiros 30 dias, comportam-se normalmente na Investigação Avançada. Os dados consultados a partir do Log Analytics ou Microsoft Sentinel refletem imediatamente a poupança de custos.

• Atraso na propagação: as transformações podem demorar até uma hora a entrar em vigor.

• Suporte de tabela: apenas as tabelas que suportam Regras de Recolha de Dados (DCRs) suportam transformações de divisão e filtro.

Conteúdo relacionado

• Ingestão e transformação de dados personalizados no Microsoft Sentinel
• Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel
• Regras de recolha de dados no Monitor do Azure
• Regras de recolha de dados de exemplo no Monitor do Azure
• Localizar o conector de dados Microsoft Sentinel