Gegevens transformeren met behulp van filteren en splitsen in Microsoft Sentinel

Naarmate de volumes van beveiligingsgegevens blijven toenemen, staan organisaties voor de uitdaging om een evenwicht te vinden tussen kosteneffectieve retentie van telemetrie die wordt gebruikt voor AI, naleving en onderzoeken, terwijl ze ervoor zorgen dat alleen de benodigde gegevens worden bewaard in opslaglagen met hoge prestaties. Gebruik filter- en splitsgegevenstransformaties in Microsoft Sentinel om deze uitdaging aan te pakken door gegevens bij opnametijd te wijzigen om uw strategie voor gegevensretentie te optimaliseren.

In dit artikel wordt beschreven hoe u filter- en splitsgegevenstransformaties configureert zonder dat u handmatig aangepaste DCR-configuraties (Data Collection Rule) hoeft te maken. Door gegevensopname aan te passen, verbeteren deze transformaties de prestaties en verminderen ze ruis.

Met behulp van gegevenstransformaties kunt u uw pijplijn voor beveiligingsgegevens optimaliseren door te bepalen welke gegevens worden opgeslagen en in welke laag. Het gebruik van filter- en splitstransformaties biedt de volgende voordelen:

• Kostenoptimalisatie: verlaag de opslag- en verwerkingskosten door gegevens met een lage waarde te filteren die niet bijdragen aan de detectie van bedreigingen. Minder vaak geopende gegevens routeren naar rendabele Data Lake Storage terwijl gegevens met hoge prioriteit in de Analyselaag worden behouden.

• Verbeterde SOC-efficiëntie: richt uw Security Operations Center (SOC) op bruikbare, waardevolle gebeurtenissen. Door ruis tijdens opnametijd te verwijderen, besteden analisten minder tijd aan het doorzoeken van irrelevante logboeken en meer tijd aan het onderzoeken van echte bedreigingen.

• Snellere queryprestaties: kleinere gegevenssets in de Analyselaag resulteren in snellere uitvoeringstijden van query's. Deze verbetering zorgt ervoor dat uw regels voor het opsporen van bedreigingen, incidentonderzoeken en analyseregels beter reageren.

• Flexibiliteit voor naleving en retentie: behoud uitgebreide gegevensretentie voor wettelijke controles en forensische analyses in de Data Lake-laag terwijl u de analyselaag optimaliseert voor operationele workloads. Deze benadering voldoet aan de nalevingsvereisten zonder dat dit ten koste gaat van de prestaties.

• Schaalbaar gegevensbeheer: naarmate de gegevensvolumes van uw organisatie toenemen, kunt u met transformaties controle houden over kosten en prestaties. Consistent beleid toepassen op tabellen om voorspelbaar gegevensbeheer te garanderen.

Transformaties filteren en splitsen zijn de eerste stappen in een groter transformatieframework waarmee u uw gegevens kunt aanpassen aan uw behoeften. Zie Aangepaste gegevensopname en transformatie in Microsoft Sentinel voor meer informatie over concepten van gegevenstransformatie.

Vereisten

Controleer de volgende vereisten voordat u filter- of splitstransformatieregels configureert:

• Uw Microsoft Sentinel werkruimte moet worden toegevoegd aan de Defender-portal. Zie Connect Microsoft Sentinel to the Microsoft Defender portal (Verbinding maken met de Microsoft Defender portal) voor meer informatie.

• In de Microsoft Defender portal met geïntegreerd op rollen gebaseerd toegangsbeheer (RBAC), gegevensmachtigingen (beheren) onder de groep Machtigingen voor gegevensbewerkingen.

• Voor de Microsoft Sentinel werkruimte hebt u de volgende machtigingen nodig:

• De rol Log Analytics-inzender om het volgende te bieden:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write-machtigingen voor de Log Analytics-werkruimte.

Ondersteunde tabellen

Filter- en splitstransformaties hebben verschillende vereisten voor tabelondersteuning:

• Filteren: wordt ondersteund voor elke tabel die ondersteuning biedt voor regels voor gegevensverzameling (DDR's).
• Splitsen: wordt ondersteund voor elke tabel die alleen opname van Analytics, Alleen Data Lake-opname en Gegevensverzamelingsregels (DDR's) ondersteunt.

Zie Uw Microsoft Sentinel gegevensconnector zoeken om te controleren of de tabellen van een connector DDR's ondersteunen.

Filtertransformaties

Met filtertransformaties kunt u ruis verminderen door gegevens tijdens opname te verwijderen die niet nuttig zijn voor onderzoeken. Gebruik een filtertransformatieregel om een KQL-voorwaarde op te geven die bepaalt welke gegevens moeten worden uitgefilterd, waarbij de resterende gegevens naar de Analyselaag worden verzonden.

Gebruik filtertransformaties wanneer u het volgende moet doen:

• Ruis verminderen: richt uw SOC op actiegebeurtenissen door routinematige logboeken met een lage ernst, zoals 'toestaan'-gebeurtenissen uit firewalllogboeken te filteren.
• Kosten optimaliseren: verlaag de opslag- en verwerkingskosten door gegevens te verwijderen die niet bijdragen aan detectie van bedreigingen.
• Prestaties verbeteren: query's versnellen en analyses stroomlijnen door het volume van opgeslagen gegevens te verminderen.

Bekijk het volgende voorbeeld van een filtertransformatie:

Uw onderneming is afhankelijk van firewalllogboeken om afwijkingen te identificeren. De meeste firewalllogboeken zijn routinematige 'toestaan'-gebeurtenissen met een lage ernst die niet bijdragen aan de detectie van bedreigingen. Als u alleen kritieke gebeurtenissen wilt behouden, zoals geblokkeerd verkeer of hoge ernst, en logboeken met een lage waarde wilt filteren, maakt u een filtertransformatieregel met een KQL-voorwaarde om alleen gegevens met een gemiddelde of hoge ernst die geen 'toegestane' gebeurtenissen naar de Analyselaag zijn te verzenden.

Gesplitste transformaties

Met gesplitste transformaties kunt u gegevens routeren tussen de Analytics-laag en de Data Lake-laag op basis van opgegeven voorwaarden. Gebruik een regel voor gesplitste transformatie om een KQL-expressie te definiëren die bepaalt welke gegevens in Analytics terechtkomen. Gegevens die niet overeenkomen met de expressie, worden alleen gerouteerd naar de Data Lake-laag.

Gebruik gesplitste transformaties wanneer u kosten en prestaties wilt verdelen door gegevens naar de juiste opslaglaag te routeren:

• Opslagkosten optimaliseren: leid oudere of minder vaak geopende logboeken naar de Data Lake-laag voor rendabele langetermijnopslag.
• Prestaties onderhouden: houd recente logboeken in de analyselaag bij voor snellere query's tijdens actieve opsporing van bedreigingen.
• Voldoen aan nalevingsvereisten: behoud historische logboeken voor wettelijke controles en forensische analyses zonder dat dit ten koste gaat van de operationele flexibiliteit.

Bekijk het volgende voorbeeld van een gesplitste transformatie:

Uw onderneming neemt dagelijks miljoenen vermeldingen in firewalllogboeken op voor detectie en naleving van bedreigingen. Uw SOC-team heeft realtime toegang nodig tot recente logboeken voor actief onderzoek, maar moet ook historische logboeken bewaren voor wettelijke controles. Maak een regel voor gesplitste transformatie om realtimegegevens te routeren naar de Analytics-laag en historische gegevens naar de Data Lake-laag.

Filtertransformatieregels configureren

Volg deze stappen om een filtertransformatieregel te maken:

1. Ga in de Microsoft Defender-portal naar Microsoft Sentinel>Configuratietabellen>.

2. Selecteer een tabel. Selecteer filterregel in het zijvenster.

   

3. Voer in het zijpaneel een regelnaam in.

4. Voer in het veld Voorwaarde een KQL-expressie in die aangeeft welke gegevens moeten worden uitgefilterd. De KQL-expressie moet waar zijn voor gegevens die u niet wilt opnemen.

5. Stel de schakeloptie regelstatus in op Aan om het filter in te schakelen.

   Belangrijk

   Met filters worden gegevens uitgefilterd. Gegevens die overeenkomen met de filtervoorwaarde worden verwijderd en worden niet opgenomen in de Lagen Analytics of Data Lake. Zorg ervoor dat de KQL-expressie nauwkeurig de gegevens vastlegt die u wilt uitsluiten.

6. Als u nog een voorwaarde wilt toevoegen, selecteert u Voorwaarde toevoegen en voert u een nieuwe KQL-expressie in om gegevens te filteren. Meerdere voorwaarden worden gecombineerd met een logische OF, zodat gegevens die overeenkomen met een van de voorwaarden worden uitgefilterd.

7. Selecteer Opslaan om de regel toe te passen.

8. Controleer of de filterregel is toegepast door de kolom Transformatieregels voor de tabel te controleren. In de kolom wordt Filter weergegeven wanneer een filterregel actief is.

   

Een regel voor gesplitste transformatie configureren

Volg deze stappen om een regel voor gesplitste transformatie te maken:

1. Ga in de Defender-portal naar Microsoft Sentinel>Configuratietabellen>.

2. Selecteer een tabel en selecteer vervolgens Regel splitsen.

3. Voer in het zijpaneel een regelnaam in.

4. Voer in het veld KQL-expressie de KQL-expressie in die definieert welke gegevens moeten worden opgenomen in de Analyselaag. Gegevens die niet overeenkomen met deze expressie, worden opgenomen in de Data Lake-laag.

5. Selecteer Opslaan om de regel toe te passen.

6. Controleer of de splitsregel is toegepast door de kolom Transformatieregels voor de tabel te controleren. In de kolom wordt Splitsen weergegeven wanneer een splitsregel actief is.

Retentie configureren voor gesplitste tabellen

Nadat u een splitsregel hebt gemaakt, configureert u bewaarinstellingen voor elke laag:

1. Bekijk onder de oorspronkelijke tabel de resulterende splitstabellen Analytics en Data Lake .

2. Als u retentie wilt configureren, selecteert u de tabel Analytics of Data Lake.

3. Selecteer Instellingen voor gegevensretentie.

4. Configureer de bewaarperiode en sla deze op.

U kunt ook de oorspronkelijke tabel selecteren en zowel Analytics- als Data Lake-retentie configureren in het dialoogvenster Instellingen voor gegevensretentie .

Regels beheren

Als u bestaande regels wilt beheren, selecteert u de tabel en selecteert u vervolgens Regel splitsen of Filterregel , afhankelijk van het regeltype dat u wilt beheren.

• Als u een regel wilt uitschakelen, selecteert u de schakeloptie Regelstatus om de regel uit te schakelen en selecteert u vervolgens Opslaan.
• Verwijder een regel door Verwijderen te selecteren.

Controleer regels door KQL-query's uit te voeren om te controleren of gegevens correct worden opgenomen en naar de juiste laag worden gerouteerd.

Bekende beperkingen

Houd rekening met de volgende beperkingen bij het gebruik van filter- en splitstransformaties:

• Zichtbaarheid van XDR-tabellen: splits- en filtertransformaties die zijn toegepast op XDR-tabellen, worden niet weergegeven in Geavanceerde opsporing voor de eerste 30 dagen aan gegevens. De transformaties worden toegepast en zodra gegevens ouder zijn dan de eerste 30 dagen, gedragen ze zich normaal in Geavanceerde opsporing. Gegevens die vanuit Log Analytics of Microsoft Sentinel worden opgevraagd, weerspiegelen de kostenbesparingen onmiddellijk.

• Doorgiftevertraging: het kan tot één uur duren voordat transformaties van kracht worden.

• Tabelondersteuning: alleen tabellen die ondersteuning bieden voor regels voor gegevensverzameling (DCR's) ondersteunen splits- en filtertransformaties.

Verwante onderwerpen

• Aangepaste gegevensopname en transformatie in Microsoft Sentinel
• Gegevens transformeren of aanpassen tijdens opname in Microsoft Sentinel
• Regels voor gegevensverzameling in Azure Monitor
• Voorbeeldregels voor gegevensverzameling in Azure Monitor
• Uw Microsoft Sentinel-gegevensconnector zoeken