Jupyter-notebooks en de Microsoft Sentinel Data Lake

Jupyter-notebooks maken integraal deel uit van het Microsoft Sentinel Data Lake-ecosysteem en bieden krachtige hulpprogramma's voor gegevensanalyse en -visualisatie. De notebooks worden geleverd door de Microsoft Sentinel Visual Studio Code-extensie waarmee u met behulp van Python voor Spark (PySpark) kunt werken met de data lake. Met notebooks kunt u complexe gegevenstransformaties uitvoeren, machine learning-modellen uitvoeren en visualisaties rechtstreeks in de notebookomgeving maken.

De Microsoft Sentinel Visual Studio Code-extensie met Jupyter-notebooks biedt een krachtige omgeving voor het verkennen en analyseren van lake-gegevens met de volgende voordelen:

  • Interactieve gegevensverkenning: Jupyter-notebooks bieden een interactieve omgeving voor het verkennen en analyseren van gegevens. U kunt codefragmenten uitvoeren, resultaten visualiseren en uw bevindingen allemaal op één plek documenteeren.
  • Integratie met Python-bibliotheken: de extensie Microsoft Sentinel bevat een breed scala aan Python-bibliotheken, zodat u bestaande hulpprogramma's en frameworks kunt gebruiken voor gegevensanalyse, machine learning en visualisatie.
  • Krachtige gegevensanalyse: Met de integratie van Apache Spark-rekensessies kunt u de kracht van gedistribueerde computing gebruiken om grote gegevenssets efficiënt te analyseren. Hierdoor kunt u complexe transformaties en aggregaties uitvoeren op uw beveiligingsgegevens.
  • Lage en trage aanvallen: analyseer grootschalige, complexe, onderling verbonden gegevens met betrekking tot beveiligingsgebeurtenissen, waarschuwingen en incidenten, waardoor geavanceerde bedreigingen en patronen kunnen worden gedetecteerd, zoals laterale bewegingen of lage en trage aanvallen die traditionele op regels gebaseerde systemen kunnen omzeilen.
  • AI- en ML-integratie: integreren met AI en machine learning om anomaliedetectie, bedreigingsvoorspelling en gedragsanalyse te verbeteren, zodat beveiligingsteams agents kunnen bouwen om hun onderzoeken te automatiseren.
  • Schaalbaarheid: Notebooks bieden de schaalbaarheid om grote hoeveelheden gegevens kostenefficiënt te verwerken en diepe batchverwerking mogelijk te maken voor het blootleggen van trends, patronen en afwijkingen.
  • Visualisatiemogelijkheden: Jupyter-notebooks ondersteunen verschillende visualisatiebibliotheken, zodat u grafieken, grafieken en andere visuele weergaven van uw gegevens kunt maken, zodat u inzichten kunt krijgen en resultaten effectief kunt communiceren.
  • Samenwerken en delen: Jupyter-notebooks kunnen eenvoudig worden gedeeld met collega's, zodat u kunt samenwerken aan gegevensanalyseprojecten. U kunt notitieblokken exporteren in verschillende indelingen, waaronder HTML en PDF, voor eenvoudig delen en presenteren.
  • Documentatie en reproduceerbaarheid: met Jupyter-notebooks kunt u uw code, analyse en bevindingen in één bestand documenteren, zodat u gemakkelijker resultaten kunt reproduceren en uw werk met anderen kunt delen.

Meer verkennende scenario's voor notebooks

De volgende scenario's laten zien hoe Jupyter-notebooks in de Microsoft Sentinel Lake kunnen worden gebruikt om beveiligingsbewerkingen te verbeteren:

Scenario Omschrijving
Gebruikersgedrag van mislukte aanmeldingen Stel een basislijn voor normaal gebruikersgedrag vast door patronen van mislukte aanmeldingspogingen te analyseren. Onderzoek bewerkingen die zijn uitgevoerd voor en na de mislukte aanmeldingen om mogelijke inbreuk- of brute-force-activiteit te detecteren.
Paden voor gevoelige gegevens Identificeer gebruikers en apparaten die toegang hebben tot gevoelige gegevensassets. Combineer toegangslogboeken met organisatiecontext om risicoblootstelling te beoordelen, toegangspaden toe te wijzen en gebieden te prioriteren voor beveiligingsbeoordeling.
Analyse van afwijkingsrisico's Analyseer bedreigingen door afwijkingen van bestaande basislijnen te identificeren, zoals aanmeldingen vanaf ongebruikelijke locaties, apparaten of tijden. Overlay van gebruikersgedrag met assetgegevens om activiteiten met een hoog risico te identificeren, waaronder potentiële interne bedreigingen.
Prioriteitstelling van risicoscore Pas aangepaste risicoscoremodellen toe op beveiligingsgebeurtenissen in de Data Lake. Verrijk gebeurtenissen met contextuele signalen zoals assetkritiek en gebruikersrol om risico's te kwantificeren, straal van ontploffing te beoordelen en incidenten te prioriteren voor onderzoek.
Verkennende analyse en visualisatie Experimentele gegevensanalyse uitvoeren in meerdere logboekbronnen om tijdlijnen voor aanvallen te reconstrueren, hoofdoorzaken te bepalen en aangepaste visualisaties te maken die helpen bij het communiceren van bevindingen naar belanghebbenden.

Schrijven naar de lake- en analyselaag

U kunt gegevens schrijven naar de Lake-laag en analyselaag met behulp van notebooks. De Microsoft Sentinel-extensie voor Visual Studio Code biedt een PySpark Python-bibliotheek die de complexiteit van het schrijven naar de lake- en analyselagen abstracteert. U kunt de functie van save_as_table() de MicrosoftSentinelProvider klasse gebruiken om gegevens naar aangepaste tabellen te schrijven of gegevens toe te voegen aan bestaande tabellen in de Lake-laag of analyselaag. Zie Microsoft Sentinel Referentie voor providerklasse voor meer informatie.

Taken en planning

U kunt taken plannen om op specifieke tijdstippen of intervallen te worden uitgevoerd met behulp van de Microsoft Sentinel-extensie voor Visual Studio Code. Met taken kunt u gegevensverwerkingstaken automatiseren om gegevens in de Microsoft Sentinel data lake samen te vatten, te transformeren of te analyseren. Gebruik taken om gegevens te verwerken en resultaten te schrijven naar aangepaste tabellen in de Lake-laag of analyselaag. Zie Jupyter-notebooktaken maken en beheren voor meer informatie.