Trasformare i dati usando il filtro e la suddivisione in Microsoft Sentinel

Man mano che i volumi di dati di sicurezza continuano a crescere, le organizzazioni devono affrontare la sfida di bilanciare la conservazione conveniente dei dati di telemetria usati per l'intelligenza artificiale, la conformità e le indagini, garantendo al tempo stesso che solo i dati necessari vengano conservati in livelli di archiviazione ad alte prestazioni. Usare le trasformazioni di filtro e suddivisione dei dati in Microsoft Sentinel per risolvere questa sfida modificando i dati in fase di inserimento per ottimizzare la strategia di conservazione dei dati.

Questo articolo descrive come configurare le trasformazioni di filtro e suddivisione dei dati senza la necessità di creare manualmente configurazioni DCR (Data Collection Rule) personalizzate. Adattando l'inserimento dei dati, queste trasformazioni migliorano le prestazioni e riducono il rumore.

Usando le trasformazioni dei dati, è possibile ottimizzare la pipeline di dati di sicurezza controllando i dati archiviati e in quale livello. L'uso delle trasformazioni di filtro e suddivisione offre i vantaggi seguenti:

• Ottimizzazione dei costi: ridurre i costi di archiviazione ed elaborazione filtrando i dati di basso valore che non contribuiscono al rilevamento delle minacce. Instradare i dati a cui si accede meno di frequente all'archiviazione Data Lake conveniente mantenendo al tempo stesso i dati con priorità elevata nel livello Analytics.

• Efficienza SOC migliorata: concentrare il centro operativo di sicurezza (SOC) su eventi interattivi e di alto valore. Rimuovendo il rumore durante il tempo di inserimento, gli analisti dedicano meno tempo a setacciare i log irrilevanti e più tempo ad analizzare le minacce reali.

• Prestazioni delle query più veloci: set di dati più piccoli nel livello Analytics comportano tempi di esecuzione delle query più rapidi. Questo miglioramento rende più reattiva la ricerca delle minacce, le indagini sugli eventi imprevisti e le regole di analisi.

• Flessibilità di conformità e conservazione: mantenere la conservazione completa dei dati per i controlli normativi e l'analisi forense nel livello Data Lake ottimizzando al tempo stesso il livello Analytics per i carichi di lavoro operativi. Questo approccio soddisfa i requisiti di conformità senza sacrificare le prestazioni.

• Gestione dei dati scalabile: man mano che i volumi di dati dell'organizzazione aumentano, le trasformazioni consentono di mantenere il controllo sui costi e sulle prestazioni. Applicare criteri coerenti tra le tabelle per garantire una gestione prevedibile dei dati.

Le trasformazioni di filtro e suddivisione sono i primi passaggi di un framework di trasformazione più ampio che consente di evolvere i dati in base alle proprie esigenze. Per altre informazioni sui concetti relativi alla trasformazione dei dati, vedere Inserimento e trasformazione dei dati personalizzati in Microsoft Sentinel.

Prerequisiti

Prima di configurare le regole di trasformazione filtro o suddivisione, verificare i requisiti seguenti:

• È necessario eseguire l'onboarding dell'area di lavoro Microsoft Sentinel nel portale di Defender. Per altre informazioni, vedere Connettere Microsoft Sentinel al portale di Microsoft Defender.

• Nel portale Microsoft Defender con controllo degli accessi in base al ruolo unificato, autorizzazioni dati (gestione) nel gruppo Autorizzazioni per le operazioni sui dati.

• Per l'area di lavoro Microsoft Sentinel sono necessarie le autorizzazioni seguenti:

• Ruolo Collaboratore di Log Analytics per fornire:

  • Microsoft.OperationalInsights/workspaces/write
  • Autorizzazioni Microsoft.OperationalInsights/workspaces/tables/write per l'area di lavoro Log Analytics.

Tabelle supportate

Le trasformazioni di filtro e suddivisione hanno requisiti diversi per il supporto delle tabelle:

• Filtro: supportato in qualsiasi tabella che supporta le regole di raccolta dati.
• Suddivisione: supportata in qualsiasi tabella che supporta solo l'inserimento di Analytics, l'inserimento solo data lake e le regole di raccolta dati .

Per verificare se le tabelle di un connettore supportano dcr, vedere Trovare il connettore dati Microsoft Sentinel.

Trasformazioni di filtro

Le trasformazioni dei filtri consentono di ridurre il rumore eliminando i dati durante l'inserimento che non sono utili per le indagini. Usare una regola di trasformazione del filtro per specificare una condizione KQL che determina i dati da filtrare, con i dati rimanenti inviati al livello Analytics.

Usare le trasformazioni di filtro quando è necessario:

• Ridurre il rumore: concentrare il SOC sugli eventi interattivi filtrando i log di routine a bassa gravità, ad esempio gli eventi "consenti" dai log del firewall.
• Ottimizzare i costi: ridurre i costi di archiviazione ed elaborazione eliminando i dati che non contribuiscono al rilevamento delle minacce.
• Migliorare le prestazioni: velocizzare le query e semplificare l'analisi riducendo il volume di dati archiviati.

Si consideri l'esempio seguente di trasformazione filtro:

L'organizzazione si basa sui log del firewall per identificare le anomalie. La maggior parte dei log del firewall sono eventi di routine "consenti" con gravità bassa che non contribuiscono al rilevamento delle minacce. Per mantenere solo gli eventi critici, ad esempio il traffico bloccato o la gravità elevata e filtrare i log di basso valore, creare una regola di trasformazione del filtro con una condizione KQL per inviare solo dati di gravità media o alta che non sono eventi "consentiti" al livello Analytics.

Split transformations (Suddividi trasformazioni)

Le trasformazioni suddivise consentono di instradare i dati tra il livello Analytics e il livello Data Lake in base alle condizioni specificate. Usare una regola di trasformazione divisa per definire un'espressione KQL che determina quali dati atterrano in Analytics. I dati che non corrispondono all'espressione vengono indirizzati solo al livello Data Lake.

Usare le trasformazioni di suddivisione quando è necessario bilanciare costi e prestazioni instradando i dati al livello di archiviazione appropriato:

• Ottimizzare i costi di archiviazione: instradare i log meno recenti o meno a cui si accede al livello Data Lake per un'archiviazione a lungo termine conveniente.
• Mantieni le prestazioni: mantenere i log recenti nel livello Analisi per eseguire query più veloci durante la ricerca attiva delle minacce.
• Soddisfare i requisiti di conformità: conservare i log cronologici per i controlli normativi e l'analisi forense senza sacrificare l'agilità operativa.

Si consideri l'esempio seguente di trasformazione di divisione:

L'azienda inserisce milioni di voci di log del firewall ogni giorno per il rilevamento delle minacce e la conformità. Il team soc necessita dell'accesso in tempo reale ai log recenti per le indagini attive, ma deve anche conservare i log cronologici per i controlli normativi. Creare una regola di trasformazione divisa per instradare i dati in tempo reale al livello Analytics e i dati cronologici al livello Data Lake.

Configurare le regole di trasformazione dei filtri

Seguire questa procedura per creare una regola di trasformazione del filtro:

1. Nel portale di Microsoft Defender passare a Microsoft Sentinel>Configurazione>tabelle.

2. Selezionare una tabella. Nel pannello laterale selezionare Regola filtro.

   

3. Nel pannello laterale immettere un nome di regola.

4. Nel campo Condizione immettere un'espressione KQL che designa i dati da filtrare. L'espressione KQL deve restituire true per i dati che non si desidera inserire.

5. Impostare l'opzione stato regolasu Sì per abilitare il filtro.

   Importante

   I filtri filtrano i dati. I dati corrispondenti alla condizione di filtro vengono eliminati e non vengono inseriti nei livelli Analytics o Data Lake. Assicurarsi che l'espressione KQL acquisirà in modo accurato i dati da escludere.

6. Per aggiungere un'altra condizione, selezionare Aggiungi condizione e immettere una nuova espressione KQL per filtrare i dati. Più condizioni vengono combinate con un OR logico, quindi i dati corrispondenti a una qualsiasi delle condizioni vengono filtrati.

7. Selezionare Salva per applicare la regola.

8. Verificare che la regola di filtro venga applicata controllando la colonna Regole di trasformazione per la tabella. La colonna visualizza Filtro quando è attiva una regola di filtro.

   

Configurare una regola di trasformazione divisa

Seguire questa procedura per creare una regola di trasformazione divisa:

1. Nel portale di Defender passare a Microsoft Sentinel>Configurazione>tabelle.

2. Selezionare una tabella e quindi selezionare Dividi regola.

3. Nel pannello laterale immettere un nome di regola.

4. Nel campo Espressione KQL immettere l'espressione KQL che definisce i dati da inserire nel livello Analytics. I dati che non corrispondono a questa espressione vengono inseriti nel livello Data Lake.

5. Selezionare Salva per applicare la regola.

6. Verificare che la regola di suddivisione venga applicata controllando la colonna Regole di trasformazione per la tabella. La colonna visualizza Divisione quando è attiva una regola di divisione.

Configurare la conservazione per le tabelle divise

Dopo aver creato una regola di suddivisione, configurare le impostazioni di conservazione per ogni livello:

1. Nella tabella originale visualizzare le tabelle di suddivisione analytics e data lake risultanti.

2. Per configurare la conservazione, selezionare la tabella Analisi o Data Lake.

3. Selezionare Impostazioni di conservazione dei dati.

4. Configurare il periodo di conservazione e salvare.

In alternativa, selezionare la tabella originale e configurare la conservazione di Analytics e Data Lake dalla finestra di dialogo combinata Impostazioni di conservazione dei dati .

Gestire le regole

Per gestire le regole esistenti, selezionare la tabella e quindi selezionare Dividi regola o Filtra regola a seconda del tipo di regola che si vuole gestire.

• Per disabilitare una regola, selezionare l'opzione Stato regola per disattivare la regola e quindi selezionare Salva.
• Eliminare una regola selezionando Elimina.

Verificare le regole eseguendo query KQL per verificare che i dati siano inseriti correttamente e indirizzati al livello corretto.

Limitazioni note

Quando si usano trasformazioni di filtro e suddivisione, tenere presente le limitazioni seguenti:

• Visibilità della tabella XDR: le trasformazioni di suddivisione e filtro applicate alle tabelle XDR non vengono visualizzate in Ricerca avanzata per i primi 30 giorni di dati. Le trasformazioni vengono applicate e, una volta che i dati superano i primi 30 giorni, si comportano normalmente in Ricerca avanzata. I dati sottoposti a query da Log Analytics o Microsoft Sentinel riflettono immediatamente i risparmi sui costi.

• Ritardo di propagazione: l'effetto delle trasformazioni può richiedere fino a un'ora.

• Supporto delle tabelle: solo le tabelle che supportano le regole di raccolta dati supportano le trasformazioni di suddivisione e filtro.

Contenuto correlato

• Inserimento e trasformazione di dati personalizzati in Microsoft Sentinel
• Trasformare o personalizzare i dati in fase di inserimento in Microsoft Sentinel
• Regole di raccolta dati in Monitoraggio Azure
• Regole di raccolta dati di esempio in monitoraggio Azure
• Trovare il connettore dati Microsoft Sentinel