Blocos de notas do Jupyter e o data lake do Microsoft Sentinel

Os blocos de notas do Jupyter são parte integrante do Microsoft Sentinel ecossistema do data lake, oferecendo ferramentas avançadas para análise e visualização de dados. Os blocos de notas são fornecidos pela extensão Microsoft Sentinel Visual Studio Code que lhe permite interagir com o data lake com o Python para Spark (PySpark). Os blocos de notas permitem-lhe realizar transformações de dados complexas, executar modelos de machine learning e criar visualizações diretamente no ambiente do bloco de notas.

A extensão Microsoft Sentinel Visual Studio Code com blocos de notas do Jupyter fornece um ambiente avançado para explorar e analisar dados do Lake com os seguintes benefícios:

  • Exploração de dados interativa: os blocos de notas do Jupyter fornecem um ambiente interativo para explorar e analisar dados. Pode executar fragmentos de código, visualizar resultados e documentar as suas conclusões num único local.
  • Integração com bibliotecas Python: a extensão Microsoft Sentinel inclui uma vasta gama de bibliotecas Python, permitindo-lhe utilizar ferramentas e arquiteturas existentes para análise de dados, machine learning e visualização.
  • Análise de dados avançada: com a integração de sessões de computação do Apache Spark, pode utilizar o poder da computação distribuída para analisar conjuntos de dados grandes de forma eficiente. Isto permite-lhe realizar transformações e agregações complexas nos seus dados de segurança.
  • Ataques baixos e lentos: analise dados de grande escala, complexos e interligados relacionados com eventos de segurança, alertas e incidentes, permitindo a deteção de ameaças e padrões sofisticados, como movimento lateral ou ataques baixos e lentos que podem evitar sistemas tradicionais baseados em regras.
  • Integração de IA e ML: integre com IA e machine learning para melhorar a deteção de anomalias, a predição de ameaças e a análise comportamental, capacitando as equipas de segurança a criar agentes para automatizar as investigações.
  • Escalabilidade: os blocos de notas proporcionam a escalabilidade para processar grandes quantidades de custos de dados de forma eficiente e permitem o processamento em lotes aprofundado para descobrir tendências, padrões e anomalias.
  • Capacidades de visualização: os blocos de notas do Jupyter suportam várias bibliotecas de visualização, permitindo-lhe criar gráficos, gráficos e outras representações visuais dos seus dados, ajudando-o a obter informações e a comunicar resultados de forma eficaz.
  • Colaboração e partilha: os blocos de notas do Jupyter podem ser facilmente partilhados com colegas, permitindo a colaboração em projetos de análise de dados. Pode exportar blocos de notas em vários formatos, incluindo HTML e PDF, para facilitar a partilha e apresentação.
  • Documentação e reprodutibilidade: os blocos de notas do Jupyter permitem-lhe documentar o seu código, análise e resultados num único ficheiro, facilitando a reprodução de resultados e a partilha do seu trabalho com outras pessoas.

Cenários de exploração de lagos para blocos de notas

Os seguintes cenários ilustram como os blocos de notas do Jupyter no Microsoft Sentinel Lake podem ser utilizados para melhorar as operações de segurança:

Cenário Descrição
Comportamento do utilizador de inícios de sessão falhados Estabeleça uma linha de base do comportamento normal do utilizador ao analisar padrões de tentativas de início de sessão falhadas. Investigue as operações tentadas antes e depois dos inícios de sessão falhados para detetar potenciais compromissos ou atividade de força bruta.
Caminhos de dados confidenciais Identifique utilizadores e dispositivos que tenham acesso a recursos de dados confidenciais. Combine registos de acesso com contexto organizacional para avaliar a exposição a riscos, mapear caminhos de acesso e atribuir prioridades a áreas para revisão de segurança.
Análise de ameaças de anomalias Analise ameaças ao identificar desvios de linhas de base estabelecidas, como inícios de sessão de localizações, dispositivos ou horas invulgares. Sobrepor o comportamento do utilizador com dados de recursos para identificar a atividade de alto risco, incluindo potenciais ameaças internas.
Atribuição de prioridades de classificação de riscos Aplique modelos de classificação de risco personalizados a eventos de segurança no data lake. Melhore os eventos com sinais contextuais, como a importância do recurso e a função de utilizador, para quantificar o risco, avaliar o raio da explosão e priorizar incidentes para investigação.
Análise exploratória e visualização Realize análises de dados exploratórias em várias origens de registos para reconstruir linhas cronológicas de ataques, determinar as causas e criar visualizações personalizadas que ajudam a comunicar resultados aos intervenientes.

Escrever no escalão lake and analytics

Pode escrever dados na camada lake e na camada de análise com blocos de notas. A extensão Microsoft Sentinel do Visual Studio Code fornece uma biblioteca PySpark Python que abstrai a complexidade de escrever nas camadas lake e analytics. Pode utilizar a MicrosoftSentinelProvider função da save_as_table() classe para escrever dados em tabelas personalizadas ou acrescentar dados a tabelas existentes na camada lake ou na camada de análise. Para obter mais informações, veja Microsoft Sentinel Referência da classe Provider.

Tarefas e agendamento

Pode agendar tarefas para execução em alturas ou intervalos específicos com a extensão Microsoft Sentinel para o Visual Studio Code. As tarefas permitem automatizar tarefas de processamento de dados para resumir, transformar ou analisar dados no data lake Microsoft Sentinel. Utilize tarefas para processar dados e escrever resultados em tabelas personalizadas na camada lake ou analítica. Para obter mais informações, veja Criar e gerir tarefas de blocos de notas do Jupyter.