Transformer des données à l’aide d’un filtre et d’un fractionnement en Microsoft Sentinel

À mesure que les volumes de données de sécurité continuent de croître, les organisations sont confrontées au défi d’équilibrer la conservation rentable des données de télémétrie utilisées pour l’IA, la conformité et les enquêtes tout en garantissant que seules les données nécessaires sont conservées dans des niveaux de stockage hautes performances. Utilisez les transformations de filtre et de fractionnement des données dans Microsoft Sentinel pour relever ce défi en modifiant les données au moment de l’ingestion afin d’optimiser votre stratégie de conservation des données.

Cet article explique comment configurer des transformations de filtre et de fractionnement des données sans avoir à créer manuellement des configurations de règle de collecte de données (DCR) personnalisées. En personnalisant l’ingestion des données, ces transformations améliorent les performances et réduisent le bruit.

En utilisant des transformations de données, vous pouvez optimiser votre pipeline de données de sécurité en contrôlant les données stockées et le niveau. L’utilisation de transformations de filtre et de fractionnement offre les avantages suivants :

• Optimisation des coûts : réduisez les coûts de stockage et de traitement en filtrant les données à faible valeur qui ne contribuent pas à la détection des menaces. Routez les données moins fréquemment sollicitées vers data lake storage économique tout en conservant les données de priorité élevée dans le niveau Analytique.

• Amélioration de l’efficacité soc : concentrez votre centre d’opérations de sécurité (SOC) sur les événements actionnables et de grande valeur. En supprimant le bruit au moment de l’ingestion, les analystes passent moins de temps à passer au crible les journaux non pertinents et plus de temps à investiguer les menaces réelles.

• Performances des requêtes plus rapides : des jeux de données plus petits dans le niveau Analytique entraînent des temps d’exécution des requêtes plus rapides. Cette amélioration rend votre repérage des menaces, vos enquêtes sur les incidents et vos règles d’analyse plus réactives.

• Flexibilité de la conformité et de la rétention : conservez une conservation complète des données pour les audits réglementaires et l’analyse forensique dans le niveau Data lake tout en optimisant le niveau Analytique pour les charges de travail opérationnelles. Cette approche répond aux exigences de conformité sans sacrifier les performances.

• Gestion des données évolutive : à mesure que les volumes de données de votre organization augmentent, les transformations vous aident à contrôler les coûts et les performances. Appliquez des stratégies cohérentes entre les tables pour garantir une gestion prévisible des données.

Les transformations de filtrage et de fractionnement sont les premières étapes d’une infrastructure de transformation plus grande qui vous permet de faire évoluer vos données en fonction de vos besoins. Pour plus d’informations sur les concepts de transformation de données, consultez Ingestion et transformation de données personnalisées dans Microsoft Sentinel.

Configuration requise

Avant de configurer des règles de transformation de filtre ou de fractionnement, vérifiez les exigences suivantes :

• Votre espace de travail Microsoft Sentinel doit être intégré au portail Defender. Pour plus d’informations, consultez Connecter Microsoft Sentinel au portail Microsoft Defender.

• Dans le portail Microsoft Defender avec le contrôle d’accès en fonction du rôle (RBAC) unifié, les autorisations Données (gérer) sous le groupe Autorisations d’opérations sur les données.

• Pour l’espace de travail Microsoft Sentinel, vous avez besoin des autorisations suivantes :

• Rôle Contributeur Log Analytics à fournir :

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write permissions pour l’espace de travail Log Analytics.

Tables prises en charge

Les transformations de filtre et de fractionnement ont des exigences de prise en charge de table différentes :

• Filtrage : pris en charge sur toute table qui prend en charge les règles de collecte de données (DCR).
• Fractionnement : pris en charge sur toute table qui prend en charge l’ingestion Analytics uniquement, l’ingestion de lac de données uniquement et les règles de collecte de données (DCR).

Pour vérifier si les tables d’un connecteur prennent en charge les DCR, consultez Rechercher votre connecteur de données Microsoft Sentinel.

Transformations de filtre

Les transformations de filtre vous permettent de réduire le bruit en ignorant les données pendant l’ingestion qui ne sont pas utiles pour les investigations. Utilisez une règle de transformation de filtre pour spécifier une condition KQL qui détermine les données à filtrer, avec les données restantes envoyées au niveau Analytics.

Utilisez des transformations de filtre lorsque vous devez :

• Réduire le bruit : concentrez votre SOC sur les événements actionnables en filtrant les journaux de routine et de faible gravité, tels que les événements « autoriser » des journaux de pare-feu.
• Optimiser les coûts : réduisez les coûts de stockage et de traitement en ignorant les données qui ne contribuent pas à la détection des menaces.
• Améliorer les performances : accélérez les requêtes et rationalisez l’analytique en réduisant le volume de données stockées.

Prenons l’exemple suivant de transformation de filtre :

Votre entreprise s’appuie sur les journaux de pare-feu pour identifier les anomalies. La plupart des journaux de pare-feu sont des événements « autorisés » de routine avec une faible gravité qui ne contribuent pas à la détection des menaces. Pour conserver uniquement les événements critiques tels que le trafic bloqué ou une gravité élevée et filtrer les journaux de faible valeur, créez une règle de transformation de filtre avec une condition KQL pour envoyer uniquement des données de gravité moyenne ou élevée qui ne sont pas des événements « autoriser » au niveau Analytics.

Transformations de fractionnement

Les transformations fractionnées vous permettent d’acheminer les données entre le niveau Analytics et le niveau Data lake en fonction des conditions spécifiées. Utilisez une règle de transformation fractionnée pour définir une expression KQL qui détermine les données qui arrivent dans Analytics. Les données qui ne correspondent pas à l’expression sont routées uniquement vers le niveau Data lake.

Utilisez des transformations fractionnées lorsque vous devez équilibrer les coûts et les performances en acheminant les données vers le niveau de stockage approprié :

• Optimiser les coûts de stockage : acheminez les journaux plus anciens ou moins fréquemment utilisés vers le niveau Data Lake pour un stockage à long terme économique.
• Maintenir les performances : conservez les journaux récents dans le niveau Analytics pour accélérer les requêtes pendant la chasse active aux menaces.
• Répondre aux exigences de conformité : conservez les journaux d’activité historiques pour les audits réglementaires et l’analyse forensique sans sacrifier l’agilité opérationnelle.

Prenons l’exemple suivant de transformation de fractionnement :

Votre entreprise ingère quotidiennement des millions d’entrées de journal de pare-feu pour la détection et la conformité des menaces. Votre équipe SOC a besoin d’un accès en temps réel aux journaux récents pour les investigations actives, mais doit également conserver les journaux d’activité historiques pour les audits réglementaires. Créez une règle de transformation fractionnée pour acheminer les données en temps réel vers le niveau Analytique et les données historiques vers le niveau Data Lake.

Configurer des règles de transformation de filtre

Pour créer une règle de transformation de filtre, procédez comme suit :

1. Dans le portail Microsoft Defender, accédez à Microsoft Sentinel>Tables de configuration>.

2. Sélectionnez une table. Dans le panneau latéral, sélectionnez Règle de filtre.

   

3. Dans le panneau latéral, entrez un nom de règle.

4. Dans le champ Condition , entrez une expression KQL qui désigne les données à filtrer. L’expression KQL doit prendre la valeur true pour les données que vous ne souhaitez pas ingérer.

5. Définissez la règle status basculer sur Activé pour activer le filtre.

   Importante

   Filtre les données. Les données correspondant à la condition de filtre sont ignorées et ne sont pas ingérées aux niveaux Analytics ou Data Lake. Vérifiez que votre expression KQL capture avec précision les données que vous souhaitez exclure.

6. Pour ajouter une autre condition, sélectionnez Ajouter une condition et entrez une nouvelle expression KQL pour filtrer les données. Plusieurs conditions étant combinées avec un OR logique, les données correspondant à l’une des conditions sont filtrées.

7. Sélectionnez Enregistrer pour appliquer la règle.

8. Vérifiez que la règle de filtre est appliquée en vérifiant la colonne Règles de transformation pour la table. La colonne affiche Filtrer lorsqu’une règle de filtre est active.

   

Configurer une règle de transformation fractionnée

Pour créer une règle de transformation fractionnée, procédez comme suit :

1. Dans le portail Defender, accédez à Microsoft Sentinel>Tables de configuration>.

2. Sélectionnez une table, puis sélectionnez Règle de fractionnement.

3. Dans le panneau latéral, entrez un nom de règle.

4. Dans le champ Expression KQL , entrez l’expression KQL qui définit les données à ingérer au niveau Analytics. Les données qui ne correspondent pas à cette expression sont ingérées au niveau Data Lake.

5. Sélectionnez Enregistrer pour appliquer la règle.

6. Vérifiez que la règle de fractionnement est appliquée en vérifiant la colonne Règles de transformation de la table. La colonne affiche Fractionner lorsqu’une règle de fractionnement est active.

Configurer la rétention pour les tables fractionnées

Après avoir créé une règle de fractionnement, configurez les paramètres de rétention pour chaque niveau :

1. Sous la table d’origine, affichez les tables de fractionnement Analytics et Data Lake obtenues.

2. Pour configurer la rétention, sélectionnez la table Analytics ou Data Lake.

3. Sélectionnez Paramètres de conservation des données.

4. Configurez la période de rétention et enregistrez.

Vous pouvez également sélectionner la table d’origine et configurer analytics et rétention du lac de données à partir de la boîte de dialogue paramètres de rétention des données combinée.

Gérer les règles

Pour gérer les règles existantes, sélectionnez la table, puis sélectionnez Règle de fractionnement ou Règle de filtre en fonction du type de règle que vous souhaitez gérer.

• Pour désactiver une règle, sélectionnez le commutateur Règle status pour désactiver la règle, puis sélectionnez Enregistrer.
• Supprimez une règle en sélectionnant Supprimer.

Vérifiez les règles en exécutant des requêtes KQL pour vérifier que les données sont ingérées correctement et routées vers le niveau approprié.

Limitations connues

Tenez compte des limitations suivantes lors de l’utilisation de transformations de filtre et de fractionnement :

• Visibilité des tables XDR : les transformations de fractionnement et de filtre appliquées aux tables XDR n’apparaissent pas dans la chasse avancée pendant les 30 premiers jours de données. Les transformations sont appliquées et une fois que les données vieillissent au-delà des 30 premiers jours, elles se comportent normalement dans la chasse avancée. Les données interrogées à partir de Log Analytics ou Microsoft Sentinel reflètent immédiatement les économies réalisées.

• Délai de propagation : les transformations peuvent prendre jusqu’à une heure pour prendre effet.

• Prise en charge des tables : seules les tables qui prennent en charge les règles de collecte de données (DCR) prennent en charge les transformations de fractionnement et de filtre.

Contenu connexe

• Ingestion et transformation de données personnalisées dans Microsoft Sentinel
• Transformer ou personnaliser des données au moment de l’ingestion dans Microsoft Sentinel
• Règles de collecte de données dans Azure Monitor
• Exemples de règles de collecte de données dans Azure Monitor
• Rechercher votre connecteur de données Microsoft Sentinel