Medbring din egen Machine Learning (ML) i Microsoft Sentinel

Machine Learning (ML) er et af de vigtigste fundamenter for Microsoft Sentinel og en af de vigtigste egenskaber, der adskiller den. Microsoft Sentinel tilbyder ML i flere forskellige oplevelser: indbygget i Fusion-korrelationsprogrammet og Jupyter-notesbøger og den nytilgængelige BYO ML-platform (Build-Your-Own ML).

Modeller til ML-registrering kan tilpasse sig individuelle miljøer og ændringer i brugeradfærd for at reducere falske positiver og identificere trusler, der ikke findes med en traditionel tilgang. Mange sikkerhedsorganisationer forstår værdien af ML for sikkerhed, men ikke mange af dem har den luksus af fagfolk, der har ekspertise inden for både sikkerhed og ML. Vi har udviklet de rammer, der præsenteres her, så sikkerhedsorganisationer og professionelle kan vokse sammen med os på deres ML-rejse. Organisationer, der ikke har erfaring med machine learning, eller uden den nødvendige ekspertise, kan få betydelig beskyttelsesværdi ud af Microsoft Sentinel indbyggede ML-funktioner.

Hvad er BYO-ML-platformen (Bring Your Own Machine Learning)?

For organisationer, der har ML-ressourcer og gerne vil bygge tilpassede ML-modeller til deres unikke forretningsbehov, tilbyder vi BYO-ML-platformen. Platformen bruger Azure Databricks/Apache Spark-miljøet og Jupyter Notebooks til at producere ML-miljøet. Den indeholder følgende komponenter:

• en BYO-ML-pakke, der indeholder biblioteker, der hjælper dig med at få adgang til data og sende resultaterne tilbage til Log Analytics (LA), så du kan integrere resultaterne med din registrering, undersøgelse og jagt.

• Skabeloner til ML-algoritmer, som du kan tilpasse, så de passer til specifikke sikkerhedsproblemer i din organisation.

• eksempelnotesbøger for at oplære modellen og planlægge modellens score.

Ud over alt dette kan du medbringe dine egne ML-modeller og/eller dit eget Spark-miljø, som du kan integrere med Microsoft Sentinel.

Med BYO-ML-platformen kan du komme hurtigt i gang med at bygge dine egne ML-modeller:

• Notesbogen med eksempeldata hjælper dig med at få praktisk erfaring fra ende til anden uden at skulle bekymre dig om at håndtere produktionsdata.

• Pakken, der er integreret med Spark-miljøet, reducerer udfordringerne og friktionerne ved administration af infrastrukturen.

• Bibliotekerne understøtter databevægelser. Notesbøger til oplæring og scoring viser oplevelsen fra ende til anden og fungerer som en skabelon, så du kan tilpasse dig dit miljø.

Use cases

BYO-ML-platformen og -pakken reducerer den tid og den indsats, du skal bruge for at bygge dine egne ML-registreringer, og de udløser muligheden for at løse specifikke sikkerhedsproblemer i Microsoft Sentinel. Platformen understøtter følgende use cases:

Oplær en ML-algoritme for at få en brugerdefineret model: Du kan tage en eksisterende ML-algoritme (delt af Microsoft eller bruger community'et) og nemt oplære den på dine egne data for at få en brugerdefineret ML-model, der passer bedre til dine data og dit miljø.

Rediger en skabelon for ML-algoritmen for at hente en brugerdefineret model: Du kan ændre en skabelon til ML-algoritmer (delt af Microsoft eller bruger community'et) og oplære den ændrede algoritme på dine egne data for at få en brugerdefineret model, så den passer til dit specifikke problem.

Opret din egen model: Opret din egen model fra bunden ved hjælp af Microsoft Sentinel BYO-ML-platform og -hjælpeprogrammer.

Integrer dit Databricks/Spark-miljø: Integrer dit eksisterende Databricks/Spark-miljø i Microsoft Sentinel, og brug BYO-ML-biblioteker og -skabeloner til at bygge ML-modeller til deres unikke situationer.

Importér din egen ML-model: Du kan importere dine egne ML-modeller og bruge BYO-ML-platformen og hjælpeprogrammerne til at integrere dem med Microsoft Sentinel.

Del en ML-algoritme: Del en ML-algoritme, så community'et kan anvende og tilpasse sig.

Brug ML til at styrke SecOps: Brug din egen brugerdefinerede ML-model og resultater til jagt, opdagelser, undersøgelse og svar.

I denne artikel kan du se komponenterne i BYO-ML-platformen, og hvordan du udnytter platformen og algoritmen Anomalous Resource Access til at levere en tilpasset ML-registrering med Microsoft Sentinel.

Azure Databricks/Spark-miljø

Apache Spark tog et skridt fremad med hensyn til forenkling af big data ved at levere en samlet struktur til oprettelse af datapipelines. Azure Databricks gør dette yderligere ved at levere en cloudplatform med nul administration, der er bygget omkring Spark. Vi anbefaler, at du bruger Databricks til din BYO-ML-platform, så du kan fokusere på at finde svar, der øjeblikkeligt påvirker din virksomhed i stedet for at håndtere problemer med datapipelines og platforme.

Hvis du allerede har Databricks eller et andet Spark-miljø og foretrækker at bruge den eksisterende konfiguration, fungerer BYO-ML-pakken også fint på dem.

BYO-ML-pakke

BYO ML-pakken indeholder de bedste fremgangsmåder og research fra Microsoft i frontend af ML for sikkerhed. I denne pakke indeholder vi følgende liste over hjælpeprogrammer, notesbøger og algoritmeskabeloner til sikkerhedsproblemer.

Den første skabelon for ML-algoritme, vi tilbyder, er registrering af unormal ressourceadgang. Den er baseret på en samarbejdsbaseret filtreringsalgoritme og er oplært i adgangslogge for Windows-filshares (sikkerhedshændelser med hændelses-id 5140). De vigtigste oplysninger, du skal bruge til denne model i logfilen, er parringen af brugere og ressourcer, der er adgang til.

Eksempel på gennemgang: Registrering af adgangsregistrering for unormalt filshare

Nu, hvor du er bekendt med nøglekomponenterne på BYO-ML-platformen, er her et eksempel, der viser dig, hvordan du bruger platformen og komponenterne til at levere en tilpasset ML-registrering.

Konfigurer Databricks/Spark-miljøet

Du skal konfigurere dit eget Databricks-miljø, hvis du ikke allerede har et. Se dokumentet med hurtig start af Databricks for at få instruktioner.

Instruktion til automatisk eksport

Hvis du vil oprette brugerdefinerede ML-modeller, der er baseret på dine egne data i Microsoft Sentinel, skal du eksportere dine data fra Log Analytics til et Blob Storage- eller Event Hub-ressource, så ML-modellen kan få adgang til dem fra Databricks. Få mere at vide om, hvordan du henter data til Microsoft Sentinel.

I dette eksempel skal du have dine oplæringsdata for filshareadgangsloggen i Azure bloblager. Formatet af dataene er dokumenteret i notesbogen og bibliotekerne.

Du kan automatisk eksportere dine data fra Log Analytics ved hjælp af kommandolinjegrænsefladen Azure.

Du skal være tildelt rollen Bidragyder i dit Log Analytics-arbejdsområde, din lagerkonto og din EventHub-ressource for at kunne køre kommandoerne.

Her er et eksempel på et sæt kommandoer til konfiguration af automatisk eksport:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Eksportér brugerdefinerede data

I forbindelse med brugerdefinerede data, der ikke understøttes af automatisk eksport af Log Analytics, kan du bruge Logic App eller andre løsninger til at flytte dine data. Du kan se bloggen og scriptet Eksportér loganalysedata til Blob Store .

Korreler med data uden for Microsoft Sentinel

Du kan også overføre data uden for Microsoft Sentinel til bloblageret eller Event Hub og korrelere dem med de Microsoft Sentinel data for at bygge dine ML-modeller.

Kopiér og installér de relaterede pakker

Kopiér BYO-ML-pakken fra det tidligere nævnte Microsoft Sentinel GitHub-lager til dit Databricks-miljø. Åbn derefter notesbøgerne, og følg instruktionerne i notesbogen for at installere de påkrævede biblioteker på dine klynger.

Modeltræning og -scoring

Følg instruktionerne i de to notesbøger for at ændre konfigurationerne i henhold til dit eget miljø og dine egne ressourcer, følg trinnene for at oplære og bygge din model, og planlæg derefter modellen til at score indgående adgangslogge for filshare.

Skriv resultater til Log Analytics

Når du har fået planlagt en score, kan du bruge modulet i notesbogen med point til at skrive resultatresultaterne til arbejdsområdet Log Analytics, der er knyttet til din Microsoft Sentinel forekomst.

Kontrollér resultater i Microsoft Sentinel

Hvis du vil se dine scorede resultater sammen med relaterede logoplysninger, skal du gå tilbage til din Microsoft Sentinel portal. I Logfiler> brugerdefinerede logge kan du se resultaterne i tabellen AnomalousResourceAccessResult_CL (eller dit eget brugerdefinerede tabelnavn). Du kan bruge disse resultater til at forbedre din undersøgelse og jagtoplevelser.

Opret brugerdefineret analyseregel med ML-resultater

Når du har bekræftet, at ML-resultaterne er i tabellen med brugerdefinerede logge, og du er tilfreds med pålideligheden af scorerne, kan du oprette en registrering baseret på resultaterne. Gå til Analytics fra Microsoft Sentinel-portalen, og opret en ny registreringsregel. Nedenfor er et eksempel, der viser den forespørgsel, der bruges til at oprette registreringen.

Få vist og besvar hændelser

Når du har konfigureret analysereglen baseret på ML-resultaterne, genereres der en hændelse, som vises på siden Hændelser på Microsoft Sentinel, hvis der er resultater over den grænse, du har angivet i forespørgslen.

Næste trin

I dette dokument har du lært, hvordan du bruger Microsoft Sentinel BYO-ML-platform til at oprette eller importere dine egne algoritmer til maskinel indlæring for at analysere data og registrere trusler.

• Se indlæg om maskinel indlæring og mange andre relevante emner på Microsoft Sentinel blog.