Transformera data med hjälp av filter och dela i Microsoft Sentinel

I takt med att säkerhetsdatavolymerna fortsätter att växa står organisationer inför utmaningen att balansera kostnadseffektiv kvarhållning av telemetri som används för AI, efterlevnad och undersökningar samtidigt som man ser till att endast nödvändiga data bevaras på lagringsnivåer med höga prestanda. Använd filter- och delningsdatatransformeringar i Microsoft Sentinel för att hantera den här uppgiften genom att ändra data vid inmatningstid för att optimera din strategi för datakvarhållning.

Den här artikeln beskriver hur du konfigurerar filter- och delningsdatatransformeringar utan att behöva skapa anpassade konfigurationer av datainsamlingsregeln (DCR) manuellt. Genom att skräddarsy datainmatning förbättrar dessa transformeringar prestanda och minskar bruset.

Genom att använda datatransformeringar kan du optimera din pipeline för säkerhetsdata genom att styra vilka data som lagras och på vilken nivå. Användning av filter- och delade transformeringar ger följande fördelar:

• Kostnadsoptimering: Minska kostnaderna för lagring och bearbetning genom att filtrera bort lågvärdesdata som inte bidrar till hotidentifiering. Dirigera data som används mindre ofta till kostnadseffektiv Data Lake-lagring samtidigt som högprioriterade data lagras på analysnivån.

• Förbättrad SOC-effektivitet: Fokusera ditt säkerhetsåtgärdscenter (SOC) på åtgärdsbara händelser med högt värde. Genom att ta bort brus vid inmatningstid ägnar analytiker mindre tid åt att sålla igenom irrelevanta loggar och mer tid på att undersöka verkliga hot.

• Snabbare frågeprestanda: Mindre datamängder på Analytics-nivån resulterar i snabbare frågekörningstider. Den här förbättringen gör din hotjakt, incidentundersökningar och analysregler mer responsiva.

• Flexibilitet för efterlevnad och kvarhållning: Upprätthålla omfattande datakvarhållning för regelgranskningar och kriminalteknisk analys på Data Lake-nivån samtidigt som du optimerar analysnivån för driftsarbetsbelastningar. Den här metoden uppfyller efterlevnadskraven utan att offra prestanda.

• Skalbar datahantering: När organisationens datavolymer växer hjälper transformeringar dig att behålla kontrollen över kostnader och prestanda. Tillämpa konsekventa principer mellan tabeller för att säkerställa förutsägbar datahantering.

Filtrera och dela transformeringar är de första stegen i ett större transformeringsramverk som gör att du kan utveckla dina data så att de passar dina behov. Mer information om begrepp för datatransformering finns i Anpassad datainmatning och transformering i Microsoft Sentinel.

Förhandskrav

Innan du konfigurerar regler för filter- eller delningstransformering kontrollerar du följande krav:

• Din Microsoft Sentinel-arbetsyta måste vara registrerad på Defender-portalen. Mer information finns i Ansluta Microsoft Sentinel till Microsoft Defender-portalen.

• I Microsoft Defender portalen med behörigheter för enhetlig rollbaserad åtkomstkontroll (RBAC), data (hantera) under gruppen Dataåtgärder.

• För den Microsoft Sentinel arbetsytan behöver du följande behörigheter:

• Log Analytics-deltagarroll för att tillhandahålla:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write-behörigheter till Log Analytics-arbetsytan.

Tabeller som stöds

Filter- och delningstransformeringar har olika krav för tabellstöd:

• Filtrering: Stöds i alla tabeller som stöder datainsamlingsregler (DCR).
• Delning: Stöds i alla tabeller som endast stöder analysinmatning, datasjöinmatning och regler för datainsamling (DCR).

Information om hur du kontrollerar om en anslutningsapps tabeller stöder DCR finns i Hitta din Microsoft Sentinel dataanslutning.

Filtertransformeringar

Med filtertransformeringar kan du minska bruset genom att ta bort data under inmatning som inte är användbart för undersökningar. Använd en regel för filtertransformering för att ange ett KQL-villkor som avgör vilka data som ska filtreras bort, där återstående data skickas till Analytics-nivån.

Använd filtertransformeringar när du behöver:

• Minska brus: Fokusera soc på åtgärdsbara händelser genom att filtrera bort rutinmässiga loggar med låg allvarlighetsgrad, till exempel "tillåta" händelser från brandväggsloggar.
• Optimera kostnader: Lägre lagrings- och bearbetningskostnader genom att ta bort data som inte bidrar till hotidentifiering.
• Förbättra prestanda: Snabba upp frågor och effektivisera analyser genom att minska mängden lagrade data.

Tänk dig följande exempel på en filtertransformering:

Företaget förlitar sig på brandväggsloggar för att identifiera avvikelser. De flesta brandväggsloggar är rutinmässiga "tillåt"-händelser med låg allvarlighetsgrad som inte bidrar till hotidentifiering. Om du bara vill behålla kritiska händelser, till exempel blockerad trafik eller hög allvarlighetsgrad och filtrera bort loggar med lågt värde, skapar du en regel för filtertransformering med ett KQL-villkor för att endast skicka data med medelhög eller hög allvarlighetsgrad som inte är "tillåtna" till analysnivån.

Dela transformeringar

Med delade transformeringar kan du dirigera data mellan analysnivån och Data lake-nivån baserat på angivna villkor. Använd en regel för delad transformering för att definiera ett KQL-uttryck som avgör vilka data som hamnar i Analytics. Data som inte matchar uttrycket dirigeras endast till Data lake-nivån.

Använd delade transformeringar när du behöver balansera kostnader och prestanda genom att dirigera data till lämplig lagringsnivå:

• Optimera lagringskostnaderna: Dirigera äldre eller mindre ofta använda loggar till Data Lake-nivån för kostnadseffektiv långsiktig lagring.
• Underhåll prestanda: Behåll de senaste loggarna på Analytics-nivån för snabbare frågor under aktiv hotjakt.
• Uppfylla efterlevnadskrav: Behåll historiska loggar för regelgranskningar och kriminalteknisk analys utan att offra driftsflexibilitet.

Tänk dig följande exempel på en delad transformering:

Företaget matar in miljontals brandväggsloggposter dagligen för hotidentifiering och efterlevnad. SOC-teamet behöver realtidsåtkomst till de senaste loggarna för aktiva undersökningar, men måste också behålla historiska loggar för regelgranskningar. Skapa en regel för delad transformering för att dirigera realtidsdata till analysnivån och historiska data till Data Lake-nivån.

Konfigurera regler för filtertransformering

Följ dessa steg för att skapa en regel för filtertransformering:

1. I Microsoft Defender-portalen går du till Microsoft Sentinel>Konfigurationstabeller>.

2. Välj en tabell. Välj Filterregel på sidopanelen.

   

3. I sidopanelen anger du ett regelnamn.

4. I fältet Villkor anger du ett KQL-uttryck som anger vilka data som ska filtreras bort. KQL-uttrycket bör utvärderas till sant för data som du inte vill mata in.

5. Ange regelstatusväxeln till På för att aktivera filtret.

   Viktigt

   Filtrerar bort data. Data som matchar filtervillkoret ignoreras och matas inte in på nivåerna Analytics eller Data lake. Se till att KQL-uttrycket korrekt samlar in de data som du vill exkludera.

6. Om du vill lägga till ett annat villkor väljer du Lägg till villkor och anger ett nytt KQL-uttryck för att filtrera bort data. Flera villkor kombineras med en logisk ELLER, så data som matchar något av villkoren filtreras bort.

7. Välj Spara för att tillämpa regeln.

8. Kontrollera att filterregeln tillämpas genom att kontrollera kolumnen Transformeringsregler för tabellen. Kolumnen visar Filter när en filterregel är aktiv.

   

Konfigurera en regel för delad transformering

Följ dessa steg för att skapa en regel för delad transformering:

1. I Defender-portalen går du till Microsoft Sentinel>Konfigurationstabeller>.

2. Välj en tabell och välj sedan Dela regel.

3. I sidopanelen anger du ett regelnamn.

4. I fältet KQL-uttryck anger du det KQL-uttryck som definierar vilka data som ska matas in på analysnivån. Data som inte matchar det här uttrycket matas in på Data lake-nivån.

5. Välj Spara för att tillämpa regeln.

6. Kontrollera att delningsregeln tillämpas genom att kontrollera kolumnen Transformeringsregler för tabellen. Kolumnen visar Dela när en delningsregel är aktiv.

Konfigurera kvarhållning för delade tabeller

När du har skapat en delad regel konfigurerar du kvarhållningsinställningar för varje nivå:

1. Under den ursprungliga tabellen visar du de resulterande delade tabellerna Analytics och Data Lake .

2. Om du vill konfigurera kvarhållning väljer du tabellen Analytics eller Data lake.

3. Välj Inställningar för datakvarhållning.

4. Konfigurera kvarhållningsperioden och spara.

Du kan också välja den ursprungliga tabellen och konfigurera både Analytics- och Data lake-kvarhållning från dialogrutan med kombinerade inställningar för datakvarhållning .

Hantera regler

Om du vill hantera befintliga regler markerar du tabellen och väljer sedan antingen Dela regel eller Filterregel beroende på vilken regeltyp du vill hantera.

• Om du vill inaktivera en regel väljer du växlingsknappen Regelstatus för att inaktivera regeln och väljer sedan Spara.
• Ta bort en regel genom att välja Ta bort.

Kontrollera reglerna genom att köra KQL-frågor för att bekräfta att data matas in korrekt och dirigeras till rätt nivå.

Kända begränsningar

Tänk på följande begränsningar när du använder filter- och splittransformeringar:

• XDR-tabellsynlighet: Split- och filtertransformeringar som tillämpas på XDR-tabeller visas inte i Avancerad jakt under de första 30 dagarnas data. Omvandlingarna tillämpas och när data åldras över de första 30 dagarna fungerar de normalt i Avancerad jakt. Data som efterfrågas från Log Analytics eller Microsoft Sentinel återspeglar kostnadsbesparingarna omedelbart.

• Spridningsfördröjning: Omvandlingar kan ta upp till en timme att börja gälla.

• Tabellstöd: Endast tabeller som stöder datainsamlingsregler (DCR) stöder split- och filtertransformeringar.

Relaterat innehåll

• Anpassad datainmatning och transformering i Microsoft Sentinel
• Transformera eller anpassa data vid inmatningstid i Microsoft Sentinel
• Regler för datainsamling i Azure Monitor
• Exempel på regler för datainsamling i Azure Monitor
• Hitta din Microsoft Sentinel dataanslutning