Cuadernos de Jupyter Notebook y el lago de datos Microsoft Sentinel

Los cuadernos de Jupyter Notebook forman parte integral del ecosistema de lago de datos Microsoft Sentinel y ofrecen herramientas eficaces para el análisis y la visualización de datos. Los cuadernos los proporciona la extensión Microsoft Sentinel Visual Studio Code que permite interactuar con el lago de datos mediante Python para Spark (PySpark). Los cuadernos permiten realizar transformaciones de datos complejas, ejecutar modelos de aprendizaje automático y crear visualizaciones directamente en el entorno de cuadernos.

La extensión Microsoft Sentinel Visual Studio Code con cuadernos de Jupyter proporciona un entorno eficaz para explorar y analizar los datos del lago con las siguientes ventajas:

  • Exploración interactiva de datos: los cuadernos de Jupyter Notebook proporcionan un entorno interactivo para explorar y analizar datos. Puede ejecutar fragmentos de código, visualizar resultados y documentar los resultados en un solo lugar.
  • Integración con bibliotecas de Python: la extensión Microsoft Sentinel incluye una amplia gama de bibliotecas de Python, lo que le permite usar las herramientas y marcos existentes para el análisis de datos, el aprendizaje automático y la visualización.
  • Análisis de datos eficaces: con la integración de sesiones de proceso de Apache Spark, puede usar la eficacia de la informática distribuida para analizar grandes conjuntos de datos de forma eficaz. Esto le permite realizar transformaciones y agregaciones complejas en los datos de seguridad.
  • Ataques bajos y lentos: analice datos a gran escala, complejos e interconectados relacionados con eventos de seguridad, alertas e incidentes, lo que permite la detección de amenazas y patrones sofisticados, como el movimiento lateral o ataques de baja y lenta velocidad que pueden eludir los sistemas tradicionales basados en reglas.
  • Integración de inteligencia artificial y aprendizaje automático: integre con inteligencia artificial y aprendizaje automático para mejorar la detección de anomalías, la predicción de amenazas y el análisis de comportamiento, lo que permite a los equipos de seguridad crear agentes para automatizar sus investigaciones.
  • Escalabilidad: los cuadernos proporcionan la escalabilidad para procesar grandes cantidades de costos de datos de forma eficaz y permiten un procesamiento por lotes profundo para descubrir tendencias, patrones y anomalías.
  • Capacidades de visualización: los cuadernos de Jupyter Notebook admiten varias bibliotecas de visualización, lo que le permite crear gráficos, gráficos y otras representaciones visuales de los datos, lo que le ayuda a obtener información y comunicar los resultados de forma eficaz.
  • Colaboración y uso compartido: los cuadernos de Jupyter Notebook se pueden compartir fácilmente con compañeros, lo que permite la colaboración en proyectos de análisis de datos. Puede exportar cuadernos en varios formatos, incluidos HTML y PDF, para facilitar el uso compartido y la presentación.
  • Documentación y reproducibilidad: los cuadernos de Jupyter Notebook le permiten documentar el código, el análisis y los resultados en un solo archivo, lo que facilita la reproducción de resultados y el uso compartido de su trabajo con otros usuarios.

Escenarios de exploración de Lake para cuadernos

En los escenarios siguientes se muestra cómo se pueden usar los cuadernos de Jupyter Notebook en Microsoft Sentinel Lake para mejorar las operaciones de seguridad:

Escenario Descripción
Comportamiento del usuario de inicios de sesión con errores Establezca una línea base de comportamiento normal del usuario mediante el análisis de patrones de intentos de inicio de sesión erróneos. Investigue las operaciones que se intentaron antes y después de los inicios de sesión con errores para detectar posibles riesgos o actividad de fuerza bruta.
Rutas de acceso de datos confidenciales Identifique a los usuarios y dispositivos que tienen acceso a recursos de datos confidenciales. Combine los registros de acceso con el contexto organizativo para evaluar la exposición al riesgo, asignar rutas de acceso y priorizar áreas para la revisión de seguridad.
Análisis de amenazas de anomalías Analice las amenazas mediante la identificación de desviaciones de las líneas base establecidas, como inicios de sesión desde ubicaciones, dispositivos o horas inusuales. Superponer el comportamiento del usuario con datos de recursos para identificar la actividad de alto riesgo, incluidas las posibles amenazas internas.
Priorización de puntuación de riesgo Aplique modelos de puntuación de riesgo personalizados a eventos de seguridad en el lago de datos. Enriquezca los eventos con señales contextuales, como la importancia crítica de los recursos y el rol de usuario, para cuantificar el riesgo, evaluar el radio de explosión y priorizar los incidentes para la investigación.
Análisis exploratorio y visualización Realice análisis exploratorios de datos en varios orígenes de registro para reconstruir escalas de tiempo de ataque, determinar las causas principales y crear visualizaciones personalizadas que ayuden a comunicar los resultados a las partes interesadas.

Escritura en el nivel lago y análisis

Puede escribir datos en el nivel de lago y en el nivel de análisis mediante cuadernos. La extensión Microsoft Sentinel para Visual Studio Code proporciona una biblioteca de Python de PySpark que abstrae la complejidad de escribir en los niveles de lago y análisis. Puede usar la función de save_as_table() la MicrosoftSentinelProvider clase para escribir datos en tablas personalizadas o anexar datos a tablas existentes en el nivel de lago o en el nivel de análisis. Para obtener más información, vea Microsoft Sentinel referencia de clase Provider.

Trabajos y programación

Puede programar que los trabajos se ejecuten en momentos o intervalos específicos mediante la extensión de Microsoft Sentinel para Visual Studio Code. Los trabajos permiten automatizar las tareas de procesamiento de datos para resumir, transformar o analizar datos en el lago de datos Microsoft Sentinel. Use trabajos para procesar datos y escribir resultados en tablas personalizadas en el nivel de lago o en el nivel de análisis. Para obtener más información, consulte Creación y administración de trabajos de Jupyter Notebook.