Creare e gestire processi notebook di Jupyter

È possibile creare processi pianificati da eseguire in orari o intervalli specifici usando l'estensione Microsoft Sentinel per Visual Studio Code. I processi consentono di automatizzare le attività di elaborazione dati per riepilogare, trasformare o analizzare i dati nel data lake Microsoft Sentinel e nelle tabelle federate. I processi vengono usati anche per elaborare i dati e scrivere risultati in tabelle personalizzate nel livello Lake o nel livello di analisi.

Autorizzazioni

Microsoft Entra ID ruoli offrono un ampio accesso a tutte le aree di lavoro nel data lake. Per creare e pianificare processi, leggere tabelle in tutte le aree di lavoro, scrivere nei livelli di analisi e lake, è necessario disporre di uno dei ruoli di Microsoft Entra ID supportati. Per altre informazioni su ruoli e autorizzazioni, vedere Ruoli e autorizzazioni in Microsoft Sentinel.

Per creare nuove tabelle personalizzate nel livello di analisi, all'identità gestita del data lake deve essere assegnato il ruolo Collaboratore Log Analytics nell'area di lavoro Log Analytics.

Per assegnare il ruolo, seguire questa procedura:

  1. Nella portale di Azure passare all'area di lavoro Log Analytics a cui si vuole assegnare il ruolo.
  2. Selezionare Controllo di accesso (IAM) nel riquadro di spostamento sinistro.
  3. Selezionare Aggiungi assegnazione di ruolo.
  4. Nella tabella Ruolo selezionare Log Analytics Contributor (Collaboratore Log Analytics) e quindi Avanti
  5. Selezionare Identità gestita e quindi Selezionare i membri.
  6. L'identità gestita del data lake è un'identità gestita assegnata dal sistema denominata msg-resources-<guid>. Selezionare l'identità gestita e quindi selezionare Seleziona.
  7. Selezionare Rivedi e assegna.

Per altre informazioni sull'assegnazione di ruoli alle identità gestite, vedere Assegnare ruoli Azure usando il portale di Azure.

Creare e pianificare un processo

È possibile creare un processo in uno dei tre modi seguenti:

  1. Nell'editor del notebook selezionare Crea processo di pianificazione dalla barra degli strumenti.

  2. Nel riquadro Esplora risorse fare clic con il pulsante destro del mouse sul file del notebook e selezionare Microsoft Sentinel, quindi selezionare Crea processo di pianificazione.

    Screenshot che mostra come creare un nuovo processo in Visual Studio Code.

  3. Nell'elenco dei processi selezionare l'icona + per creare un nuovo processo.

    Screenshot che mostra come creare un nuovo processo dall'elenco dei processi in Visual Studio Code.

  4. Selezionare Usa notebook esistente per selezionare un file notebook esistente oppure selezionare Crea nuovo notebook per creare un nuovo file notebook per il processo.

    Screenshot che mostra come selezionare un notebook esistente per il processo.

  5. Nella pagina Configurazione processo immettere un nome e una descrizione per il processo nella sezione Dettagli processo.

  6. Selezionare le dimensioni del pool spark per eseguire il processo in base alle esigenze di calcolo dei processi.

  7. Per eseguire manualmente un processo senza una pianificazione, selezionare Su richiesta nella sezione Pianificazione , quindi selezionare Invia per salvare la configurazione del processo e pubblicare il processo.

  8. Per specificare una pianificazione per il processo, selezionare Pianificato nella sezione Pianificazione .

    1. Selezionare una frequenza di ripetizione per il processo. È possibile scegliere tra Minuti, Orari, Settimanali, Giornalieri o Mensili.

    2. Vengono visualizzate opzioni aggiuntive per configurare la pianificazione, a seconda della frequenza selezionata. Ad esempio, il giorno della settimana, l'ora del giorno o il giorno del mese.

    3. Selezionare Inizio in tempo per l'avvio dell'esecuzione della pianificazione.

    4. Selezionare fine in tempo per interrompere l'esecuzione della pianificazione. Se non si vuole impostare un'ora di fine per la pianificazione, selezionare Imposta processo per l'esecuzione illimitata. Le date e le ore si trovano nel fuso orario dell'utente.

    5. Selezionare Invia per salvare la configurazione del processo e pubblicare il processo.

    Screenshot che mostra la pagina di configurazione del processo.

  9. Per visualizzare i processi, selezionare l'icona Microsoft Sentinel sentinel nella barra degli strumenti a sinistra. I processi vengono visualizzati nel pannello Processi .

  10. Selezionare un processo per visualizzare i dettagli del processo.

  11. È possibile eseguire immediatamente il processo selezionando Esegui ora, disabilitare e abilitare la pianificazione del processo oppure eliminare il processo.

    Screenshot che mostra la pagina dei dettagli del processo.

  12. Visualizzare la cronologia dei processi nella scheda Cronologia esecuzioni .

    Screenshot che mostra la pagina di esecuzione del processo.

  13. Selezionare un'attività per visualizzare altri dettagli. Screenshot che mostra la pagina dei dettagli dell'esecuzione del processo.

Modificare un processo inviato

L'invio di un processo crea una definizione di processo che include il file notebook, la configurazione del processo e la pianificazione. La definizione del processo viene caricata dall'editor di VS Code e archiviata nel data lake Microsoft Sentinel. Dopo l'invio, il processo non è più connesso al file notebook nel file system locale. Se si vuole modificare il codice nel processo notebook, è necessario scaricare la definizione del processo, modificare il file notebook e quindi inviare nuovamente il processo.

Per modificare un processo inviato, seguire questa procedura:

  1. Nella sezione Processi selezionare il processo da modificare.

  2. Selezionare l'icona Scarica cloud per scaricare la definizione del processo nel file system locale. Nell'editor dei dettagli dei processi è possibile visualizzare la configurazione del processo. È anche possibile selezionare Scarica notebook più recente.

    Screenshot che mostra l'icona del processo di modifica e download in VS Code.

  3. Modificare il file della cartella di lavoro scaricato ipynb per apportare le modifiche.

  4. Tornare alla scheda Dettagli processo e selezionare Modifica processo.

  5. Modificare il nome del processo, la descrizione, la configurazione del cluster e la pianificazione. La modifica del nome del processo crea una nuova definizione di processo quando si invia il processo.

  6. Selezionare Invia per caricare il file notebook aggiornato e la configurazione del processo.

  7. Quando il processo viene inviato correttamente, viene visualizzata una conferma.

    Screenshot che mostra la pagina di modifica jib in VS Code.

Visualizzare i processi nel portale di Microsoft Defender

Oltre a visualizzare i processi in Visual Studio Code, è anche possibile visualizzare i processi del notebook nel portale di Defender. Per visualizzare i processi nel portale di Defender, selezionare Microsoft Sentinel> Processi diesplorazione> del data lake.

La pagina mostra un elenco dei processi e dei relativi tipi. Selezionare un processo notebook per visualizzarne i dettagli. È possibile abilitare e disabilitare la pianificazione del processo, ma non è possibile modificare un processo notebook nel portale di Defender.

Screenshot che mostra la pagina dei processi nel portale di Defender.

  1. Selezionare un processo per visualizzare i dettagli del processo.

Screenshot che mostra i dettagli del processo nel portale di Defender.

  1. Selezionare Visualizza cronologia per visualizzare la cronologia delle esecuzioni dei processi.

Screenshot che mostra la pagina della cronologia dei processi nel portale di Defender.

Parametri e limiti del servizio e risoluzione dei problemi

Nomi di colonna

Le regole seguenti si applicano ai nomi di colonna quando si usa il metodo save_as per scrivere dati da un notebook al data lake Microsoft Sentinel.

  • I nomi di colonna devono iniziare con una lettera.

  • Le colonne standard seguenti non sono supportate per l'esportazione. Il processo di inserimento sovrascrive queste colonne nel livello di destinazione:

    • TenantId
    • _TimeReceived
    • Tipo
    • SourceSystem
    • _Resourceid
    • _Subscriptionid
    • _Itemid
    • _BilledSize
    • _IsBillable
    • _WorkspaceId
  • TimeGenerated viene sovrascritto se è più vecchio di due giorni. Per mantenere l'ora dell'evento originale, scrivere il timestamp di origine in una colonna separata.

Per un elenco dei limiti del servizio per il data lake Microsoft Sentinel, vedere Microsoft Sentinel limiti del servizio Data Lake.

Risoluzione dei problemi

Per informazioni sulla risoluzione dei problemi, vedere Risolvere i problemi relativi ai notebook nel data lake Microsoft Sentinel.