Condividi tramite


Notebook di Jupyter e data lake Microsoft Sentinel

I notebook di Jupyter sono parte integrante dell'ecosistema Microsoft Sentinel data lake, offrendo potenti strumenti per l'analisi e la visualizzazione dei dati. I notebook sono forniti dall'estensione Microsoft Sentinel Visual Studio Code che consente di interagire con il data lake usando Python per Spark (PySpark). I notebook consentono di eseguire trasformazioni di dati complesse, di eseguire modelli di Machine Learning e di creare visualizzazioni direttamente nell'ambiente notebook.

L'estensione Microsoft Sentinel Visual Studio Code con notebook Jupyter offre un ambiente potente per l'esplorazione e l'analisi dei dati lake con i vantaggi seguenti:

  • Esplorazione interattiva dei dati: i notebook di Jupyter offrono un ambiente interattivo per l'esplorazione e l'analisi dei dati. È possibile eseguire frammenti di codice, visualizzare i risultati e documentare i risultati in un'unica posizione.
  • Integrazione con le librerie Python: l'estensione Microsoft Sentinel include un'ampia gamma di librerie Python, che consentono di usare strumenti e framework esistenti per l'analisi dei dati, l'apprendimento automatico e la visualizzazione.
  • Potente analisi dei dati: con l'integrazione delle sessioni di calcolo di Apache Spark, è possibile usare la potenza del calcolo distribuito per analizzare in modo efficiente set di dati di grandi dimensioni. In questo modo è possibile eseguire trasformazioni e aggregazioni complesse sui dati di sicurezza.
  • Attacchi bassi e lenti: analizzare dati su larga scala, complessi e interconnessi correlati a eventi di sicurezza, avvisi e eventi imprevisti, consentendo il rilevamento di minacce e modelli sofisticati, ad esempio lo spostamento laterale o attacchi a bassa e bassa velocità che possono eludere i sistemi basati su regole tradizionali.
  • Integrazione di intelligenza artificiale e machine learning: integrazione con intelligenza artificiale e machine learning per migliorare il rilevamento delle anomalie, la stima delle minacce e l'analisi comportamentale, consentendo ai team di sicurezza di creare agenti per automatizzare le indagini.
  • Scalabilità: i notebook offrono la scalabilità per elaborare in modo efficiente grandi quantità di costi di dati e abilitare l'elaborazione batch approfondita per individuare tendenze, modelli e anomalie.
  • Funzionalità di visualizzazione: i notebook di Jupyter supportano diverse librerie di visualizzazioni, consentendo di creare grafici, grafici e altre rappresentazioni visive dei dati, consentendo di ottenere informazioni dettagliate e comunicare i risultati in modo efficace.
  • Collaborazione e condivisione: i notebook di Jupyter possono essere facilmente condivisi con i colleghi, consentendo la collaborazione nei progetti di analisi dei dati. È possibile esportare notebook in vari formati, tra cui HTML e PDF, per semplificare la condivisione e la presentazione.
  • Documentazione e riproducibilità: i notebook di Jupyter consentono di documentare il codice, l'analisi e i risultati in un unico file, semplificando la riproduzione dei risultati e la condivisione del lavoro con altri utenti.

Scenari di esplorazione lake per notebook

Gli scenari seguenti illustrano come usare i notebook di Jupyter in Microsoft Sentinel Lake per migliorare le operazioni di sicurezza:

Scenario Descrizione
Comportamento dell'utente da accessi non riusciti Stabilire una linea di base del normale comportamento dell'utente analizzando i modelli di tentativi di accesso non riusciti. Analizzare le operazioni tentate prima e dopo gli accessi non riusciti per rilevare potenziali compromissioni o attività di forza bruta.
Percorsi dati sensibili Identificare gli utenti e i dispositivi che hanno accesso agli asset di dati sensibili. Combinare i log di accesso con il contesto dell'organizzazione per valutare l'esposizione ai rischi, mappare i percorsi di accesso e assegnare priorità alle aree per la verifica della sicurezza.
Analisi delle minacce per le anomalie Analizzare le minacce identificando le deviazioni dalle baseline stabilite, ad esempio gli accessi da posizioni, dispositivi o orari insoliti. Sovrapporre il comportamento degli utenti con i dati degli asset per identificare le attività ad alto rischio, incluse le potenziali minacce insider.
Definizione delle priorità per l'assegnazione dei punteggi di rischio Applicare modelli di punteggio di rischio personalizzati agli eventi di sicurezza nel data lake. Arricchire gli eventi con segnali contestuali come la criticità degli asset e il ruolo utente per quantificare il rischio, valutare il raggio di esplosione e assegnare priorità agli eventi imprevisti per l'analisi.
Analisi esplorativa e visualizzazione Eseguire l'analisi esplorativa dei dati tra più origini di log per ricostruire le sequenze temporali degli attacchi, determinare le cause radice e creare visualizzazioni personalizzate che consentono di comunicare i risultati agli stakeholder.

Scrittura nel livello lake e di analisi

È possibile scrivere dati nel livello Lake e nel livello di analisi usando i notebook. L'estensione Microsoft Sentinel per Visual Studio Code fornisce una libreria Python PySpark che astrae la complessità della scrittura nei livelli lake e di analisi. È possibile usare la MicrosoftSentinelProvider funzione della save_as_table() classe per scrivere dati in tabelle personalizzate o aggiungere dati a tabelle esistenti nel livello Lake o nel livello di analisi. Per altre informazioni, vedere Microsoft Sentinel Riferimento alla classe Provider.

Processi e pianificazione

È possibile pianificare l'esecuzione di processi in orari o intervalli specifici usando l'estensione Microsoft Sentinel per Visual Studio Code. I processi consentono di automatizzare le attività di elaborazione dati per riepilogare, trasformare o analizzare i dati nel data lake Microsoft Sentinel. Usare i processi per elaborare i dati e scrivere risultati in tabelle personalizzate nel livello lake o nel livello di analisi. Per altre informazioni, vedere Creare e gestire processi notebook di Jupyter.