Transformieren von Daten mithilfe von Filtern und Teilen in Microsoft Sentinel

Da das Volumen von Sicherheitsdaten weiter wächst, stellen sich Organisationen vor der Herausforderung, die kostenwirksame Aufbewahrung von Telemetrie zu ausgleichen, die für KI, Compliance und Untersuchungen verwendet wird, und gleichzeitig sicherzustellen, dass nur erforderliche Daten in hochleistungsreichen Speicherebenen aufbewahrt werden. Verwenden Sie Filter- und aufgeteilte Datentransformationen in Microsoft Sentinel, um dieser Herausforderung zu begegnen, indem Sie Daten zum Zeitpunkt der Erfassung ändern, um Ihre Datenaufbewahrungsstrategie zu optimieren.

In diesem Artikel wird beschrieben, wie Sie Filter- und Geteilte Datentransformationen konfigurieren, ohne dass sie benutzerdefinierte Datensammlungsregelkonfigurationen (Data Collection Rule, DCR) manuell erstellen müssen. Durch die Anpassung der Datenaufnahme verbessern diese Transformationen die Leistung und reduzieren das Rauschen.

Mithilfe von Datentransformationen können Sie Ihre Sicherheitsdatenpipeline optimieren, indem Sie steuern, welche Daten gespeichert sind und in welcher Ebene. Die Verwendung von Filter- und geteilten Transformationen bietet die folgenden Vorteile:

• Kostenoptimierung: Reduzieren Sie die Speicher- und Verarbeitungskosten, indem Sie daten mit geringem Wert herausfiltern, die nicht zur Bedrohungserkennung beitragen. Leiten Sie weniger häufig zugegriffene Daten in kostengünstigen Data-Lake-Speicher um, während hochpriorisierte Daten in der Analytik-Schicht verbleiben.

• Verbesserte SOC-Effizienz: Konzentrieren Sie Ihr Security Operations Center (SOC) auf umsetzbare, wertvolle Ereignisse. Durch das Entfernen von Rauschen beim Erfassen verbringen Analysten weniger Zeit mit der Durchforstung irrelevanter Protokolle und mehr Zeit mit der Untersuchung realer Bedrohungen.

• Schnellere Abfrageleistung: Kleinere Datasets auf der Analyseebene führen zu schnelleren Abfrageausführungszeiten. Diese Verbesserung macht Ihre Bedrohungssuche, Vorfalluntersuchungen und Analyseregeln reaktionsfähiger.

• Compliance- und Aufbewahrungsflexibilität: Verwalten Sie umfassende Datenaufbewahrung für behördliche Audits und forensische Analysen in der Data-Lake-Ebene und optimieren Sie gleichzeitig die Analyse-Ebene für operative Workloads. Dieser Ansatz erfüllt Complianceanforderungen ohne Leistungseinbußen.

• Skalierbare Datenverwaltung: Wenn die Datenvolumes Ihrer Organisation wachsen, helfen Transformationen Ihnen, die Kontrolle über Kosten und Leistung zu behalten. Wenden Sie einheitliche Richtlinien für Tabellen an, um eine vorhersagbare Datenverwaltung sicherzustellen.

Filtern und Teilen von Transformationen sind die ersten Schritte in einem größeren Transformationsframework, mit dem Sie Ihre Daten entsprechend Ihren Anforderungen weiterentwickeln können. Weitere Informationen zu Datentransformationskonzepten finden Sie unter "Benutzerdefinierte Datenaufnahme und -transformation in Microsoft Sentinel".

Voraussetzungen

Bevor Sie Filter- oder Geteilte Transformationsregeln konfigurieren, überprüfen Sie die folgenden Anforderungen:

• Im Microsoft Defender-Portal mit einheitlicher rollenbasierter Zugriffssteuerung (RBAC), Daten (Verwalten)-Berechtigungen unter der Gruppe Berechtigungen für Datenvorgänge.

• Für den Microsoft Sentinel-Arbeitsbereich benötigen Sie die folgenden Berechtigungen:

• Log Analytics-Mitwirkender-Rolle, um Folgendes bereitzustellen:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write-Berechtigungen für den Log Analytics-Arbeitsbereich.

Unterstützte Tabellen

Filter- und Geteilte Transformationen weisen unterschiedliche Anforderungen an die Tabellenunterstützung auf:

• Filterung: Wird für jede Tabelle unterstützt, die Datensammlungsregeln (Data Collection Rules, DCRs) unterstützt.
• Splitting: Unterstützt für jede Tabelle, die ausschließlich die Erfassung durch Analytics, nur die Erfassung durch den Data Lake oder Datensammlungsregeln (Data Collection Rules, DCRs) unterstützt.

Informationen dazu, ob die Tabellen eines Connectors DCRs unterstützen, finden Sie unter "Suchen Ihres Microsoft Sentinel-Datenconnectors".

Filtertransformationen

Mithilfe von Filtertransformationen können Sie Rauschen reduzieren, indem Sie Daten während der Datenaufnahme verwerfen, die für Untersuchungen nicht nützlich sind. Verwenden Sie eine Filtertransformationsregel, um eine KQL-Bedingung anzugeben, die bestimmt, welche Daten herausgefiltert werden sollen, wobei die verbleibenden Daten an die Analyseebene gesendet werden.

Verwenden Sie Filtertransformationen, wenn Sie Folgendes benötigen:

• Reduzieren Sie Rauschen: Konzentrieren Sie sich mit Ihrem SOC auf Ereignisse, die Maßnahmen erfordern, indem Sie Routineprotokolle mit geringem Schweregrad wie 'Zulassen'-Einträge aus Firewallprotokollen herausfiltern.
• Optimieren Sie die Kosten: Geringere Speicher- und Verarbeitungskosten durch Verwerfen von Daten, die nicht zur Bedrohungserkennung beitragen.
• Verbessern Sie die Leistung: Beschleunigen Sie Abfragen und optimieren Sie Analysen, indem Sie das Volumen der gespeicherten Daten reduzieren.

Betrachten Sie das folgende Beispiel einer Filtertransformation:

Ihr Unternehmen basiert auf Firewallprotokollen, um Anomalien zu identifizieren. Die meisten Firewallprotokolle sind routinebezogene "Allow"-Ereignisse mit geringem Schweregrad, die nicht zur Bedrohungserkennung beitragen. Um nur kritische Ereignisse wie blockierten Datenverkehr oder hohen Schweregrad zu behalten und Protokolle mit geringem Wert herauszufiltern, erstellen Sie eine Filtertransformationsregel mit einer KQL-Bedingung, um nur Daten mit mittlerem oder hohem Schweregrad, die nicht "Zulassen"-Ereignisse sind, an die Analyseebene zu senden.

Aufgespaltene Transformationen

Mit geteilten Transformationen können Sie Daten basierend auf bestimmten Bedingungen zwischen der Analyseebene und der Datenseeebene weiterleiten. Verwenden Sie eine Regel für die geteilte Transformation, um einen KQL-Ausdruck zu definieren, der bestimmt, welche Daten in Analytics landen. Nur Daten, die nicht dem Ausdruck entsprechen, werden an die Datenlake-Ebene weitergeleitet.

Verwenden Sie geteilte Transformationen, wenn Sie Kosten und Leistung ausgleichen müssen, indem Sie Daten an die entsprechende Speicherebene weiterleiten:

• Optimieren sie die Speicherkosten: Leiten Sie ältere oder weniger häufig aufgerufene Protokolle zur Datenseeebene weiter, um eine kostengünstige langzeitspeicherung zu erreichen.
• Beibehalten der Leistung: Halten Sie aktuelle Protokolle auf der Analyseebene für schnellere Abfragen während der aktiven Bedrohungssuche.
• Einhaltung der Complianceanforderungen: Bewahren Sie historische Protokolle für behördliche Audits und forensische Analysen auf, ohne die betriebliche Flexibilität zu beeinträchtigen.

Betrachten Sie das folgende Beispiel einer geteilten Transformation:

Ihr Unternehmen erfasst täglich Millionen von Firewallprotokolleinträgen für die Bedrohungserkennung und Compliance. Ihr SOC-Team benötigt Echtzeitzugriff auf aktuelle Protokolle für aktive Untersuchungen, muss aber auch historische Protokolle für behördliche Prüfungen aufbewahren. Erstellen Sie eine Regel für die geteilte Transformation, um Echtzeitdaten an die Analyseebene und historische Daten an die Datenseeebene weiterzuleiten.

Konfigurieren von Filtertransformationsregeln

Führen Sie die folgenden Schritte aus, um eine Filtertransformationsregel zu erstellen:

1. Wechseln Sie im Microsoft Defender-Portal zu Microsoft Sentinel>Konfiguration>Tabellen.

2. Wählen Sie eine Tabelle aus. Wählen Sie im seitlichen Bereich die Filterregel aus.

   

3. Geben Sie im Seitenbereich einen Regelnamen ein.

4. Geben Sie im Feld "Bedingung " einen KQL-Ausdruck ein, der angibt, welche Daten herausfiltert werden sollen. Der KQL-Ausdruck sollte für Daten, die Sie nicht aufnehmen möchten, auf "true" ausgewertet werden.

5. Legen Sie den Regelstatuswechsel auf "Ein " fest, um den Filter zu aktivieren.

   Von Bedeutung

   Filter filtern Daten heraus. Daten, die mit der Filterbedingung übereinstimmen, werden verworfen und nicht in die Analytik- oder Data-Lake-Ebenen aufgenommen. Stellen Sie sicher, dass Ihr KQL-Ausdruck die Daten, die Sie ausschließen möchten, genau erfasst.

6. Um eine weitere Bedingung hinzuzufügen, wählen Sie "Bedingung hinzufügen" aus, und geben Sie einen neuen KQL-Ausdruck ein, um Daten auszufiltern. Mehrere Bedingungen werden mit einem logischen OR kombiniert, sodass Daten, die einer der Bedingungen entsprechen, herausgefiltert werden.

7. Wählen Sie "Speichern " aus, um die Regel anzuwenden.

8. Stellen Sie sicher, dass die Filterregel angewendet wird, indem Sie die Spalte "Transformationsregeln " für die Tabelle überprüfen. In der Spalte wird "Filter" angezeigt, wenn eine Filterregel aktiv ist.

   

Konfigurieren einer Regel für die geteilte Transformation

Führen Sie die folgenden Schritte aus, um eine Regel für die geteilte Transformation zu erstellen:

1. Wechseln Sie im Defender-Portal zu Microsoft Sentinel>Konfiguration>Tabellen.

2. Wählen Sie eine Tabelle aus, und wählen Sie dann " Geteilte Regel" aus.

3. Geben Sie im Seitenbereich einen Regelnamen ein.

4. Geben Sie im Feld "KQL-Ausdruck " den KQL-Ausdruck ein, der definiert, welche Daten in die Analyseebene aufgenommen werden sollen. Daten, die diesem Ausdruck nicht entsprechen, werden in die Datenseeebene aufgenommen.

5. Wählen Sie "Speichern " aus, um die Regel anzuwenden.

6. Stellen Sie sicher, dass die geteilte Regel angewendet wird, indem Sie die Spalte "Transformationsregeln " für die Tabelle überprüfen. In der Spalte wird "Split " angezeigt, wenn eine geteilte Regel aktiv ist.

Konfigurieren der Aufbewahrung für geteilte Tabellen

Konfigurieren Sie nach dem Erstellen einer geteilten Regel Aufbewahrungseinstellungen für jede Ebene:

1. Zeigen Sie unter der ursprünglichen Tabelle die resultierenden geteilten Tabellen "Analytics " und "Data Lake " an.

2. Um die Aufbewahrung zu konfigurieren, wählen Sie die Tabelle "Analyse" oder "Data Lake" aus.

3. Wählen Sie "Datenaufbewahrungseinstellungen" aus.

4. Konfigurieren Sie den Aufbewahrungszeitraum und speichern Sie sie.

Wählen Sie alternativ die ursprüngliche Tabelle aus, und konfigurieren Sie die Aufbewahrung von Analytics und Data Lake über das kombinierte Dialogfeld " Datenaufbewahrungseinstellungen ".

Verwalten von Regeln

Um vorhandene Regeln zu verwalten, wählen Sie die Tabelle aus, und wählen Sie dann abhängig vom Regeltyp, den Sie verwalten möchten, entweder die Regel "Geteilte Regel " oder " Filterregel " aus.

• Um eine Regel zu deaktivieren, wählen Sie den Regelstatusschalter aus, um die Regel zu deaktivieren, und wählen Sie dann "Speichern" aus.
• Löschen Sie eine Regel, indem Sie "Löschen" auswählen.

Überprüfen Sie Regeln, indem Sie KQL-Abfragen ausführen, um zu bestätigen, dass Daten korrekt aufgenommen und an die richtige Ebene weitergeleitet werden.

Bekannte Einschränkungen

Beachten Sie die folgenden Einschränkungen bei der Verwendung von Filter- und geteilten Transformationen:

• Sichtbarkeit der XDR-Tabelle: Transformationen, die auf XDR-Tabellen angewendet werden, werden in der erweiterten Suche für die ersten 30 Tage der Daten nicht angezeigt. Die Transformationen werden angewendet, und sobald Daten die ersten 30 Tage überschreiten, verhalten sie sich wie gewohnt in der Erweiterten Jagd. Daten, die von Log Analytics oder Microsoft Sentinel abgefragt werden, spiegeln die Kosteneinsparungen sofort wider.

• Verteilungsverzögerung: Transformationen können bis zu einer Stunde in Kraft treten.

• Tabellenunterstützung: Nur Tabellen, die Datensammlungsregeln (DCRs) unterstützen, können geteilte Transformationen und Filtertransformationen ausführen.

Verwandte Inhalte

• Benutzerdefinierte Datenaufnahme und -transformation in Microsoft Sentinel
• Transformieren oder Anpassen von Daten zum Zeitpunkt der Erfassung in Microsoft Sentinel
• Datensammlungsregeln in Azure Monitor
• Beispielregeln für die Datensammlung in Azure Monitor
• Finden Sie Ihren Microsoft Sentinel-Datenverbinder