Transformér data ved hjælp af filter og opdeling i Microsoft Sentinel

I takt med at mængden af sikkerhedsdata fortsætter med at vokse, står organisationer over for udfordringen med at afbalancere omkostningseffektiv opbevaring af telemetri, der bruges til kunstig intelligens, overholdelse af angivne standarder og undersøgelser, samtidig med at de sikrer, at kun nødvendige data bevares på lagerniveauer med høj ydeevne. Brug transformationer af filtre og opdelte data i Microsoft Sentinel til at løse denne udfordring ved at ændre data på indtagelsestidspunktet for at optimere din strategi for dataopbevaring.

I denne artikel beskrives det, hvordan du konfigurerer transformationer af filtre og opdelte data, uden at det er nødvendigt manuelt at oprette brugerdefinerede DCR-konfigurationer (Data Collection Rule). Ved at skræddersy dataindtagelse forbedrer disse transformationer ydeevnen og reducerer støj.

Ved hjælp af datatransformationer kan du optimere din sikkerhedsdatapipeline ved at styre, hvilke data der gemmes, og på hvilket niveau. Brug af filter- og opdelte transformationer giver følgende fordele:

• Omkostningsoptimering: Reducer lager- og behandlingsomkostningerne ved at filtrere data med lav værdi, der ikke bidrager til trusselsregistrering. Distribuer data, der bruges mindre hyppigt, til omkostningseffektiv lagring af datasøer, samtidig med at du bevarer data med høj prioritet på analytics-niveauet.

• Forbedret SOC-effektivitet: Fokuser dit SOC (Security Operations Center) på handlingsorienterede hændelser med høj værdi. Ved at fjerne støj ved indtagelsestid bruger analytikere mindre tid på at sortere gennem irrelevante logge og mere tid på at undersøge reelle trusler.

• Hurtigere forespørgselsydeevne: Mindre datasæt på analyseniveauet resulterer i hurtigere udførelsestider for forespørgsler. Denne forbedring gør dine trusselsjagt-, hændelsesundersøgelser og analyseregler mere dynamiske.

• Fleksibilitet i overholdelse og opbevaring: Bevar omfattende dataopbevaring til lovmæssige revisioner og tekniske analyser på niveauet Data lake, samtidig med at du optimerer analyseniveauet for driftsarbejdsbelastninger. Denne fremgangsmåde opfylder kravene til overholdelse af angivne standarder uden at gå på kompromis med ydeevnen.

• Skalerbar dataadministration: I takt med at din organisations datamængder vokser, hjælper transformationer dig med at bevare kontrollen over omkostninger og ydeevne. Anvend ensartede politikker på tværs af tabeller for at sikre forudsigelig dataadministration.

Filtrerings- og opdelingstransformationer er de første trin i en større transformationsramme, der giver dig mulighed for at udvikle dine data, så de passer til dine behov. Du kan få flere oplysninger om koncepter for datatransformation under Brugerdefineret dataindtagelse og -transformation i Microsoft Sentinel.

Forudsætninger

Før du konfigurerer regler for filtrering eller opdeling af transformation, skal du kontrollere følgende krav:

• Dit Microsoft Sentinel arbejdsområde skal være onboardet på Defender-portalen. Du kan få flere oplysninger under Opret forbindelse Microsoft Sentinel til Microsoft Defender-portalen.

• I Microsoft Defender-portalen med RBAC (Unified Role Based Access Control), data (administrer) tilladelser under gruppen Datahandlinger.

• For det Microsoft Sentinel arbejdsområde skal du have følgende tilladelser:

• Log Analytics Contributor-rolle , der skal angives:

  • Microsoft.OperationalInsights/arbejdsområder/skrivning
  • Microsoft.OperationalInsights/workspaces/tables/write permissions to the Log Analytics workspace.

Understøttede tabeller

Filter- og opdelingstransformationer har forskellige krav til understøttelse af tabeller:

• Filtrering: Understøttes i alle tabeller, der understøtter regler for dataindsamling.
• Opdeling: Understøttes i alle tabeller, der kun understøtter analyseindtagelse, datasøindtagelse og regler for dataindsamling.

Hvis du vil kontrollere, om en connectors tabeller understøtter DCR'er, skal du se Find din Microsoft Sentinel dataconnector.

Filtrer transformationer

Med filtertransformationer kan du reducere støj ved at kassere data under indtagelse, der ikke er nyttige i forbindelse med undersøgelser. Brug en filtertransformationsregel til at angive en KQL-betingelse, der bestemmer, hvilke data der skal filtreres fra, hvor de resterende data sendes til analyseniveauet.

Brug filtertransformationer, når du har brug for at:

• Reducer støj: Fokuser din SOC på handlingsrettede hændelser ved at filtrere rutinemæssige logge med lav alvorsgrad, f.eks. "tillad"-hændelser fra firewalllogge.
• Optimer omkostningerne: Lavere lager- og behandlingsomkostninger ved at kassere data, der ikke bidrager til trusselsregistrering.
• Øg ydeevnen: Gør forespørgsler hurtigere og strømline analyser ved at reducere mængden af gemte data.

Se følgende eksempel på en filtertransformation:

Din virksomhed er afhængig af firewalllogge til at identificere uregelmæssigheder. De fleste firewalllogge er rutinemæssige "tillad"-hændelser med lav alvorsgrad, der ikke bidrager til trusselsregistrering. Hvis du kun vil bevare kritiske hændelser, f.eks. blokeret trafik eller høj alvorsgrad og filtrere logge med lav værdi fra, skal du oprette en filtertransformationsregel med en KQL-betingelse for kun at sende data med mellemstor eller høj alvorsgrad, der ikke er "tillad"-hændelser, til analyseniveauet.

Opdel transformationer

Med opdelte transformationer kan du dirigere data mellem niveauet Analytics og niveauet Data lake baseret på angivne betingelser. Brug en regel for opdelt transformation til at definere et KQL-udtryk, der bestemmer, hvilke data der lander i Analytics. Data, der ikke stemmer overens med udtrykket, distribueres kun til niveauet Data lake.

Brug opdelte transformationer, når du har brug for at balancere omkostninger og ydeevne ved at distribuere data til det relevante lagerniveau:

• Optimer lageromkostninger: Distribuer ældre eller mindre ofte tilgåede logge til niveauet Data lake for at få omkostningseffektiv langtidslagring.
• Bevar ydeevnen: Bevar de seneste logge på analyseniveauet for at få hurtigere forespørgsler under aktiv trusselsjagt.
• Overhold kravene til overholdelse af angivne standarder: Bevar historiske logge til lovmæssige revisioner og tekniske analyser uden at gå på kompromis med den driftsmæssige fleksibilitet.

Se følgende eksempel på en opdelt transformation:

Din virksomhed indtager dagligt millioner af firewalllogposter med henblik på trusselsregistrering og overholdelse af angivne standarder. Dit SOC-team har brug for adgang i realtid til de seneste logge til aktive undersøgelser, men skal også bevare historiske logge for lovmæssige revisioner. Opret en regel for opdelt transformation for at dirigere data i realtid til analyseniveauet og historiske data til niveauet Data lake.

Konfigurer regler for filtertransformation

Følg disse trin for at oprette en filtertransformationsregel:

1. I Microsoft Defender-portalen skal du gå til Microsoft Sentinel>Konfigurationstabeller>.

2. Vælg en tabel. Vælg Filterregel i sidepanelet.

   

3. Angiv et regelnavn i sidepanelet.

4. I feltet Betingelse skal du angive et KQL-udtryk, der angiver, hvilke data der skal filtreres fra. KQL-udtrykket skal evalueres til sand for data, du ikke vil indtage.

5. Angiv parameteren for regelstatus til Til for at aktivere filteret.

   Vigtigt!

   Filtrerer data ud. Data, der svarer til filterbetingelsen, kasseres og indtages ikke til niveauerne Analytics eller Data lake. Sørg for, at dit KQL-udtryk registrerer de data, du vil udelade, nøjagtigt.

6. Hvis du vil tilføje en anden betingelse, skal du vælge Tilføj betingelse og angive et nyt KQL-udtryk for at filtrere data fra. Flere betingelser kombineres med et logisk OR, så data, der matcher nogen af betingelserne, filtreres væk.

7. Vælg Gem for at anvende reglen.

8. Kontrollér, at filterreglen anvendes, ved at kontrollere kolonnen Transformationsregler for tabellen. Kolonnen viser Filter , når en filterregel er aktiv.

   

Konfigurer en regel for opdelt transformation

Følg disse trin for at oprette en regel for opdelt transformation:

1. Gå til Microsoft Sentinel>Konfigurationstabeller> i Defender-portalen.

2. Vælg en tabel, og vælg derefter Opdel regel.

3. Angiv et regelnavn i sidepanelet.

4. I feltet KQL-udtryk skal du angive det KQL-udtryk, der definerer, hvilke data der skal indlæses på analyseniveauet. Data, der ikke stemmer overens med dette udtryk, overføres til niveauet Data lake.

5. Vælg Gem for at anvende reglen.

6. Kontrollér, at den opdelte regel anvendes, ved at kontrollere kolonnen Transformationsregler for tabellen. Kolonnen viser Split , når en opdelt regel er aktiv.

Konfigurer opbevaring for opdelte tabeller

Når du har oprettet en opdelt regel, skal du konfigurere opbevaringsindstillinger for hvert niveau:

1. Under den oprindelige tabel kan du se de resulterende opdelte tabeller for analyse og datasø .

2. Hvis du vil konfigurere opbevaring, skal du vælge tabellen Analytics eller Data lake.

3. Vælg Indstillinger for dataopbevaring.

4. Konfigurer opbevaringsperioden, og gem.

Alternativt kan du vælge den oprindelige tabel og konfigurere både opbevaring af analyse og datasø fra dialogboksen med indstillinger for kombineret dataopbevaring .

Administrer regler

Hvis du vil administrere eksisterende regler, skal du vælge tabellen og derefter enten vælge Opdel regel eller Filterregel afhængigt af den regeltype, du vil administrere.

• Hvis du vil deaktivere en regel, skal du vælge parameteren Regelstatus for at slå reglen fra og derefter vælge Gem.
• Slet en regel ved at vælge Slet.

Bekræft regler ved at køre KQL-forespørgsler for at bekræfte, at dataene indtages korrekt og dirigeres til det korrekte niveau.

Kendte begrænsninger

Vær opmærksom på følgende begrænsninger, når du bruger filter- og opdelte transformationer:

• Synlighed af XDR-tabel: Transformationer af opdeling og filtrering, der anvendes på XDR-tabeller, vises ikke i Avanceret jagt i de første 30 dage med data. Transformationerne anvendes, og når data bliver ældre end de første 30 dage, fungerer de normalt i Advanced Hunting. Data, der forespørges fra Log Analytics eller Microsoft Sentinel, afspejler straks omkostningsbesparelserne.

• Forsinkelse af overførsel: Det kan tage op til én time, før transformationer træder i kraft.

• Tabelunderstøttelser: Det er kun tabeller, der understøtter DCR'er (Data Collection Rules), der understøtter opdelte og filtrerede transformationer.

Relateret indhold

• Brugerdefineret dataindtagelse og -transformation i Microsoft Sentinel
• Transformér eller tilpas data på indtagelsestidspunktet i Microsoft Sentinel
• Regler for dataindsamling i overvågning af Azure
• Eksempel på regler for dataindsamling i Azure Monitor
• Find din Microsoft Sentinel dataconnector