Transformación de datos mediante filtro y división en Microsoft Sentinel

A medida que los volúmenes de datos de seguridad siguen creciendo, las organizaciones se enfrentan al desafío de equilibrar la retención rentable de telemetría usada para la inteligencia artificial, el cumplimiento y las investigaciones, al tiempo que garantizan que solo se conserven los datos necesarios en niveles de almacenamiento de alto rendimiento. Use transformaciones de datos de filtro y división en Microsoft Sentinel para abordar este desafío modificando los datos en el momento de la ingesta para optimizar la estrategia de retención de datos.

En este artículo se describe cómo configurar transformaciones de datos de filtro y división sin necesidad de crear manualmente configuraciones de regla de recopilación de datos (DCR) personalizadas. Al adaptar la ingesta de datos, estas transformaciones mejoran el rendimiento y reducen el ruido.

Mediante el uso de transformaciones de datos, puede optimizar la canalización de datos de seguridad controlando qué datos se almacenan y en qué nivel. El uso de transformaciones de filtro y división proporciona las siguientes ventajas:

• Optimización de costos: reduzca los costos de almacenamiento y procesamiento filtrando datos de bajo valor que no contribuyen a la detección de amenazas. Enrute los datos a los que se accede con menos frecuencia al almacenamiento rentable de Data Lake, a la vez que mantiene los datos de alta prioridad en el nivel De análisis.

• Eficiencia de SOC mejorada: céntrese en el centro de operaciones de seguridad (SOC) en eventos accionables de alto valor. Al eliminar el ruido en el tiempo de ingesta, los analistas dedican menos tiempo a examinar registros irrelevantes y más tiempo a investigar amenazas reales.

• Rendimiento de consultas más rápido: los conjuntos de datos más pequeños en el nivel de Analytics dan como resultado tiempos de ejecución de consultas más rápidos. Esta mejora hace que la búsqueda de amenazas, las investigaciones de incidentes y las reglas de análisis respondan mejor.

• Flexibilidad de cumplimiento y retención: mantenga una retención completa de datos para auditorías normativas y análisis forenses en el nivel data lake al tiempo que optimiza el nivel de Análisis para cargas de trabajo operativas. Este enfoque satisface los requisitos de cumplimiento sin sacrificar el rendimiento.

• Administración de datos escalables: a medida que aumentan los volúmenes de datos de la organización, las transformaciones le ayudan a mantener el control sobre los costos y el rendimiento. Aplique directivas coherentes entre tablas para garantizar una administración de datos predecible.

Las transformaciones de filtro y división son los primeros pasos de un marco de transformación mayor que le permite evolucionar los datos para satisfacer sus necesidades. Para obtener más información sobre los conceptos de transformación de datos, vea Ingesta y transformación de datos personalizados en Microsoft Sentinel.

Requisitos previos

Antes de configurar reglas de transformación de filtro o división, compruebe los siguientes requisitos:

• El área de trabajo de Microsoft Sentinel debe incorporarse al portal de Defender. Para obtener más información, consulte Conexión de Microsoft Sentinel al portal de Microsoft Defender.

• En el portal de Microsoft Defender con control de acceso basado en rol unificado (RBAC), permisos de datos (administrar) en el grupo Permisos de operaciones de datos.

• Para el área de trabajo Microsoft Sentinel, necesita los permisos siguientes:

• Rol colaborador de Log Analytics para proporcionar:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write permissions to the Log Analytics workspace (Microsoft.OperationalInsights/workspaces/tables/write permissions to the Log Analytics workspace).

Tablas admitidas

Las transformaciones de filtro y división tienen distintos requisitos de compatibilidad con tablas:

• Filtrado: se admite en cualquier tabla que admita reglas de recopilación de datos (DCR).
• División: se admite en cualquier tabla que admita solo la ingesta de Analytics, solo la ingesta de Data Lake y las reglas de recopilación de datos (DCR).

Para comprobar si las tablas de un conector admiten DCR, consulte Buscar el conector de datos de Microsoft Sentinel.

Transformaciones de filtro

Las transformaciones de filtro permiten reducir el ruido descartando datos durante la ingesta que no son útiles para las investigaciones. Use una regla de transformación de filtro para especificar una condición KQL que determine qué datos se van a filtrar, con los datos restantes enviados al nivel de Análisis.

Use transformaciones de filtro cuando necesite:

• Reducir el ruido: céntrese en los eventos accionables mediante el filtrado de registros rutinarios de baja gravedad, como los eventos "allow" de los registros de firewall.
• Optimizar los costos: reduzca los costos de almacenamiento y procesamiento descartando los datos que no contribuyen a la detección de amenazas.
• Mejorar el rendimiento: acelere las consultas y optimice el análisis mediante la reducción del volumen de datos almacenados.

Tenga en cuenta el ejemplo siguiente de una transformación de filtro:

La empresa se basa en registros de firewall para identificar anomalías. La mayoría de los registros de firewall son eventos "allow" rutinarios con una gravedad baja que no contribuyen a la detección de amenazas. Para conservar solo los eventos críticos, como el tráfico bloqueado o la gravedad alta, y filtrar los registros de valor bajo, cree una regla de transformación de filtro con una condición KQL para enviar solo datos de gravedad media o alta que no sean eventos "permitidos" al nivel de Analytics.

Dividir transformaciones

Las transformaciones divididas permiten enrutar los datos entre el nivel analytics y el nivel de Data lake en función de las condiciones especificadas. Use una regla de transformación dividida para definir una expresión KQL que determine qué datos llegan a Analytics. Los datos que no coinciden con la expresión se enrutan solo al nivel De lago de datos.

Use transformaciones divididas cuando necesite equilibrar el costo y el rendimiento mediante el enrutamiento de datos al nivel de almacenamiento adecuado:

• Optimizar los costos de almacenamiento: enrute los registros más antiguos o a los que se accede con menos frecuencia al nivel de Data lake para un almacenamiento rentable a largo plazo.
• Mantener el rendimiento: mantenga los registros recientes en el nivel De análisis para realizar consultas más rápidas durante la búsqueda activa de amenazas.
• Cumplir los requisitos de cumplimiento: conserve los registros históricos para las auditorías normativas y el análisis forense sin sacrificar la agilidad operativa.

Tenga en cuenta el ejemplo siguiente de una transformación de división:

La empresa ingiere millones de entradas de registro de firewall diariamente para la detección y el cumplimiento de amenazas. El equipo de SOC necesita acceso en tiempo real a los registros recientes para las investigaciones activas, pero también debe conservar los registros históricos para las auditorías normativas. Cree una regla de transformación dividida para enrutar los datos en tiempo real al nivel de Análisis y a los datos históricos al nivel De lago de datos.

Configuración de reglas de transformación de filtros

Siga estos pasos para crear una regla de transformación de filtro:

1. En el portal de Microsoft Defender, vaya a Microsoft Sentinel>Configuración de>tablas.

2. Seleccione una tabla. En el panel lateral, seleccione Regla de filtro.

   

3. En el panel lateral, escriba un nombre de regla.

4. En el campo Condición , escriba una expresión KQL que designe los datos que se van a filtrar. La expresión KQL debe evaluarse como true para los datos que no desea ingerir.

5. Establezca el modificador de estado de reglaen Activado para habilitar el filtro.

   Importante

   Filtra los datos de filtro. Los datos que coinciden con la condición de filtro se descartan y no se ingieren en los niveles analytics o data lake. Asegúrese de que la expresión KQL captura con precisión los datos que desea excluir.

6. Para agregar otra condición, seleccione Agregar condición y escriba una nueva expresión KQL para filtrar los datos. Se combinan varias condiciones con un OR lógico, por lo que los datos que coinciden con cualquiera de las condiciones se filtran.

7. Seleccione Guardar para aplicar la regla.

8. Compruebe que la regla de filtro se aplica comprobando la columna Reglas de transformación de la tabla. La columna muestra Filtrar cuando una regla de filtro está activa.

   

Configuración de una regla de transformación dividida

Siga estos pasos para crear una regla de transformación dividida:

1. En el portal de Defender, vaya a Microsoft Sentinel>Configurar>tablas.

2. Seleccione una tabla y, a continuación, seleccione Dividir regla.

3. En el panel lateral, escriba un nombre de regla.

4. En el campo Expresión de KQL , escriba la expresión KQL que define qué datos se van a ingerir en el nivel de Análisis. Los datos que no coinciden con esta expresión se ingieren en el nivel De lago de datos.

5. Seleccione Guardar para aplicar la regla.

6. Compruebe que la regla de división se aplica comprobando la columna Reglas de transformación de la tabla. La columna muestra Dividir cuando está activa una regla de división.

Configuración de la retención para tablas divididas

Después de crear una regla de división, configure las opciones de retención para cada nivel:

1. En la tabla original, vea las tablas de división de Analytics y Data lake resultantes.

2. Para configurar la retención, seleccione la tabla Analytics o Data lake.

3. Seleccione Configuración de retención de datos.

4. Configure el período de retención y guárdelo.

Como alternativa, seleccione la tabla original y configure la retención de Analytics y Data Lake en el cuadro de diálogo de configuración de retención de datos combinado.

Administrar reglas

Para administrar las reglas existentes, seleccione la tabla y, a continuación, seleccione Dividir regla o Filtrar regla según el tipo de regla que quiera administrar.

• Para deshabilitar una regla, seleccione el modificador Estado de regla para desactivar la regla y, a continuación, seleccione Guardar.
• Para eliminar una regla, seleccione Eliminar.

Compruebe las reglas mediante la ejecución de consultas KQL para confirmar que los datos se ingieren correctamente y se enrutan al nivel correcto.

Limitaciones conocidas

Tenga en cuenta las siguientes limitaciones al usar transformaciones de filtro y división:

• Visibilidad de la tabla XDR: las transformaciones de división y filtro aplicadas a las tablas XDR no aparecen en Búsqueda avanzada durante los primeros 30 días de datos. Se aplican las transformaciones y, una vez que los datos envejecen más allá de los primeros 30 días, se comportan normalmente en la búsqueda avanzada. Los datos consultados desde Log Analytics o Microsoft Sentinel reflejan el ahorro de costos inmediatamente.

• Retraso de propagación: las transformaciones pueden tardar hasta una hora en surtir efecto.

• Compatibilidad con tablas: solo las tablas que admiten reglas de recopilación de datos (DCR) admiten transformaciones de división y filtro.

Contenido relacionado

• Ingesta y transformación de datos personalizados en Microsoft Sentinel
• Transformar o personalizar datos en el momento de la ingesta en Microsoft Sentinel
• Reglas de recopilación de datos en Azure Monitor
• Reglas de recopilación de datos de ejemplo en Azure Monitor
• Búsqueda del conector de datos de Microsoft Sentinel