Transformere data ved hjelp av filtrering og deling i Microsoft Sentinel

Etter hvert som sikkerhetsdatavolumene fortsetter å vokse, står organisasjoner overfor utfordringen med å balansere kostnadseffektiv oppbevaring av telemetri som brukes til kunstig intelligens, overholdelse og undersøkelser, samtidig som de sikrer at bare nødvendige data beholdes i lagringsnivåer med høy ytelse. Bruk filtrering og deling av datatransformasjoner i Microsoft Sentinel for å løse denne utfordringen ved å endre data ved inntakstidspunktet for å optimalisere strategien for dataoppbevaring.

Denne artikkelen beskriver hvordan du konfigurerer filtrering og deling av datatransformasjoner uten å måtte opprette egendefinerte DCR-konfigurasjoner (Data Collection Rule). Ved å skreddersy datainntak forbedrer disse transformasjonene ytelsen og reduserer støy.

Ved å bruke datatransformasjoner kan du optimalisere datasamlebåndet for sikkerhet ved å kontrollere hvilke data som er lagret, og i hvilket nivå. Bruk av filtrering og delte transformasjoner gir følgende fordeler:

• Kostnadsoptimalisering: Reduser lagrings- og behandlingskostnader ved å filtrere ut data med lav verdi som ikke bidrar til trusselregistrering. Distribuer mindre data til kostnadseffektiv datasjølagring samtidig som data med høy prioritet beholdes i analysenivået.

• Forbedret SOC-effektivitet: Fokuser sikkerhetsoperasjonssenteret (SOC) på handlingsbare hendelser med høy verdi. Ved å fjerne støy ved inntakstid, bruker analytikere mindre tid på å sile gjennom irrelevante logger og mer tid på å undersøke reelle trusler.

• Raskere spørringsytelse: Mindre datasett i analysenivået resulterer i raskere kjøretider for spørringer. Denne forbedringen gjør trusseljakt, hendelsesundersøkelser og analyseregler mer responsive.

• Samsvars- og oppbevaringsfleksibilitet: Vedlikehold omfattende dataoppbevaring for forskriftsmessige revisjoner og rettsmedisinske analyser i Data Lake-nivået, samtidig som du optimaliserer analysenivået for operasjonelle arbeidsbelastninger. Denne tilnærmingen oppfyller samsvarskrav uten å ofre ytelsen.

• Skalerbar databehandling: Etter hvert som organisasjonens datavolumer vokser, hjelper transformasjoner deg med å opprettholde kontrollen over kostnader og ytelse. Bruk konsekvente policyer på tvers av tabeller for å sikre forutsigbar databehandling.

Filtrer og del transformasjoner er de første trinnene i et større transformasjonsrammeverk som gir deg mulighet til å utvikle dataene slik at de passer dine behov. Hvis du vil ha mer informasjon om konsepter for datatransformasjon, kan du se Egendefinert datainntak og transformasjon i Microsoft Sentinel.

Forutsetninger

Før du konfigurerer regler for filtrering eller deling av transformasjon, må du kontrollere følgende krav:

• Det Microsoft Sentinel arbeidsområdet må være innebygd i Defender-portalen. Hvis du vil ha mer informasjon, kan du se Koble Microsoft Sentinel til Microsoft Defender-portalen.

• I Microsoft Defender-portalen med enhetlig rollebasert tilgangskontroll (RBAC), datatillatelser (behandle) under tillatelsesgruppen for dataoperasjoner.

• Du trenger følgende tillatelser for det Microsoft Sentinel arbeidsområdet:

• Log Analytics-bidragsyterrolle som skal oppgis:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write permissions to the Log Analytics workspace.

Støttede tabeller

Filtrerings- og delingstransformasjoner har ulike krav til tabellstøtte:

• Filtrering: Støttes i alle tabeller som støtter datainnsamlingsregler (DCR-er).
• Oppdeling: Støttes på alle tabeller som bare støtter inntak av analyser, datainnsjø-inntak og datainnsamlingsregler (DCR-er).

Hvis du vil kontrollere om tabellene til en kobling støtter DCR-er, kan du se Finne Microsoft Sentinel-datakoblingen.

Filtrer transformasjoner

Med filtreringstransformasjoner kan du redusere støy ved å forkaste data under inntak som ikke er nyttig for undersøkelser. Bruk en regel for filtreringstransformasjon til å angi en KQL-betingelse som bestemmer hvilke data som skal filtreres ut, med gjenstående data sendt til analysenivået.

Bruk filtertransformasjoner når du må:

• Reduser støy: Fokuser SOC på handlingshendelser ved å filtrere ut rutiner, logger med lav alvorlighetsgrad, for eksempel «tillat»-hendelser fra brannmurlogger.
• Optimaliser kostnader: Redusere lagrings- og behandlingskostnader ved å forkaste data som ikke bidrar til trusselregistrering.
• Forbedre ytelsen: Raskere spørringer og effektiviser analyser ved å redusere volumet på lagrede data.

Vurder følgende eksempel på en filtertransformasjon:

Bedriften er avhengig av brannmurlogger for å identifisere avvik. De fleste brannmurlogger er rutinemessige «tillat»-hendelser med lav alvorlighetsgrad som ikke bidrar til trusselregistrering. Hvis du bare vil beholde kritiske hendelser, for eksempel blokkert trafikk eller høy alvorlighetsgrad og filtrere ut logger med lav verdi, kan du opprette en regel for filtreringstransformasjon med en KQL-betingelse for å sende bare middels eller høy alvorlighetsgradsdata som ikke tillater hendelser til analysenivået.

Del transformasjoner

Med delte transformasjoner kan du rute data mellom analysenivået og Data Lake-nivået basert på angitte betingelser. Bruk en delt transformasjonsregel til å definere et KQL-uttrykk som bestemmer hvilke data som lander i Analyse. Data som ikke samsvarer med uttrykket, rutes bare til Data Lake-nivået.

Bruk delte transformasjoner når du trenger å balansere kostnader og ytelse ved å rute data til riktig lagringsnivå:

• Optimaliser lagringskostnader: Rute eldre eller sjeldnere logger til Data Lake-nivået for kostnadseffektiv langsiktig lagring.
• Vedlikehold ytelse: Behold nylige logger i Analyse-nivået for raskere spørringer under aktiv trusseljakt.
• Oppfyller samsvarskravene: Behold historiske logger for regulatoriske revisjoner og rettsmedisinske analyser uten å ofre operasjonell smidighet.

Vurder følgende eksempel på en delt transformasjon:

Bedriften inntar millioner av brannmurloggoppføringer daglig for trusselregistrering og samsvar. SOC-teamet ditt trenger sanntidstilgang til nylige logger for aktive undersøkelser, men må også beholde historiske logger for regulatoriske revisjoner. Opprett en delt transformasjonsregel for å rute sanntidsdata til analysenivået og historiske data til Data Lake-nivået.

Konfigurer regler for filtreringstransformasjon

Følg disse trinnene for å opprette en regel for filtreringstransformasjon:

1. Gå til Microsoft Sentinel Konfigureringstabeller> i Microsoft Defender-portalen>.

2. Velg en tabell. Velg Filterregel i sidepanelet.

   

3. Skriv inn et regelnavn i sidepanelet.

4. Skriv inn et KQL-uttrykk i Betingelse-feltet som angir hvilke data som skal filtreres ut. KQL-uttrykket skal evalueres til sann for data du ikke vil ta inn.

5. Sett regelstatusbryteren til På for å aktivere filteret.

   Viktig

   Filtre filtrerer ut data. Data som samsvarer med filterbetingelsen, forkastes og blir ikke inntatt til enten Analyse- eller Data Lake-nivåer. Sørg for at KQL-uttrykket nøyaktig registrerer dataene du vil utelate.

6. Hvis du vil legge til en annen betingelse, velger du Legg til betingelse og skriver inn et nytt KQL-uttrykk for å filtrere ut data. Flere betingelser kombineres med en logisk ELLER, slik at data som samsvarer med noen av betingelsene, filtreres ut.

7. Velg Lagre for å bruke regelen.

8. Kontroller at filterregelen brukes ved å kontrollere transformasjonsregler-kolonnen for tabellen. Kolonnen viser Filter når en filterregel er aktiv.

   

Konfigurere en delt transformasjonsregel

Følg disse trinnene for å opprette en delt transformasjonsregel:

1. Gå til Microsoft Sentinel>Konfigureringstabeller> i Defender-portalen.

2. Velg en tabell, og velg deretter Del regel.

3. Skriv inn et regelnavn i sidepanelet.

4. Skriv inn KQL-uttrykket i KQL-uttrykksfeltet som definerer hvilke data som skal tas inn i analysenivået. Data som ikke samsvarer med dette uttrykket, blir inntatt til Data Lake-nivået.

5. Velg Lagre for å bruke regelen.

6. Kontroller at den delte regelen brukes ved å kontrollere kolonnen Transformasjonsregler for tabellen. Kolonnen viser Del når en delt regel er aktiv.

Konfigurer oppbevaring for delte tabeller

Når du har opprettet en delt regel, konfigurerer du oppbevaringsinnstillinger for hvert nivå:

1. Vis de resulterende tabellene for deling av Analyse og Data Lake under den opprinnelige tabellen.

2. Hvis du vil konfigurere oppbevaring, velger du tabellen Analyse eller Data Lake.

3. Velg innstillinger for dataoppbevaring.

4. Konfigurer oppbevaringsperioden og lagre.

Alternativt kan du velge den opprinnelige tabellen og konfigurere både Analyse- og Data Lake-oppbevaring fra dialogboksen for kombinerte dataoppbevaringsinnstillinger .

Behandle regler

Hvis du vil behandle eksisterende regler, velger du tabellen og velger enten Del regel eller Filterregel avhengig av regeltypen du vil behandle.

• Hvis du vil deaktivere en regel, velger du regelstatusbryteren for å deaktivere regelen, og deretter velger du Lagre.
• Slett en regel ved å velge Slett.

Bekreft regler ved å kjøre KQL-spørringer for å bekrefte at dataene er inntatt riktig og rutet til riktig nivå.

Kjente begrensninger

Vær oppmerksom på følgende begrensninger når du bruker filtrering og delte transformasjoner:

• Synlighet for XDR-tabell: Delings- og filtertransformasjoner brukt på XDR-tabeller vises ikke i Avansert jakt de første 30 dagene med data. Transformasjonene brukes, og når data eldes utover de første 30 dagene, oppfører de seg normalt i Avansert jakt. Data som spørres fra Log Analytics eller Microsoft Sentinel gjenspeiler kostnadsbesparelsene umiddelbart.

• Overføringsforsinkelse: Transformasjoner kan ta opptil én time å tre i kraft.

• Tabellstøtte: Bare tabeller som støtter datainnsamlingsregler (DCR-er), støtter delings- og filtertransformasjoner.

Beslektet innhold

• Egendefinert datainntak og transformasjon i Microsoft Sentinel
• Transformer eller tilpass data ved inntakstidspunkt i Microsoft Sentinel
• Datainnsamlingsregler i Azure Monitor
• Eksempelregler for datainnsamling i Azure Monitor
• Finne Microsoft Sentinel-datakoblingen