Bringen Sie Ihr eigenes Machine Learning (ML) in Microsoft Sentinel

Machine Learning (ML) ist eines der wichtigsten Grundlagen von Microsoft Sentinel und eines der Hauptattribute, die es unterscheiden. Microsoft Sentinel bietet ML in verschiedenen Umgebungen: integriert in die Fusion-Korrelations-Engine und Jupyter-Notebooks und die neu verfügbare Byo ML-Plattform (Build-Your-Own ML).

ML-Erkennungsmodelle können sich an einzelne Umgebungen und änderungen im Benutzerverhalten anpassen, um falsch positive Ergebnisse zu reduzieren und Bedrohungen zu identifizieren, die bei einem herkömmlichen Ansatz nicht gefunden würden. Viele Sicherheitsorganisationen verstehen den Wert von ML für Die Sicherheit, obwohl nicht viele von ihnen den Luxus von Fachleuten haben, die sowohl in Der Sicherheit als auch in ML verfügen. Wir haben das hier vorgestellte Framework für Sicherheitsorganisationen und -experten entwickelt, um auf ihrer ML-Reise mit uns zu wachsen. Organisationen, die noch nicht mit ML in Verbindung sind oder nicht über das erforderliche Fachwissen verfügen, können aus den integrierten ML-Funktionen von Microsoft Sentinel einen erheblichen Schutznutzen erzielen.

Was ist die BYO-ML-Plattform (Bring Your Own Machine Learning)?

Für Organisationen, die über ML-Ressourcen verfügen und angepasste ML-Modelle für ihre individuellen Geschäftsanforderungen erstellen möchten, bieten wir die BYO-ML-Plattform an. Die Plattform nutzt die Azure Databricks/Apache Spark-Umgebung und Jupyter Notebooks, um die ML-Umgebung zu erstellen. Sie stellt die folgenden Komponenten bereit:

• ein BYO-ML-Paket, das Bibliotheken enthält, mit denen Sie auf Daten zugreifen und die Ergebnisse zurück an Log Analytics (LA) pushen können, damit Sie die Ergebnisse in Ihre Erkennung, Untersuchung und Suche integrieren können.

• ML-Algorithmusvorlagen, die Sie an bestimmte Sicherheitsprobleme in Ihrem organization anpassen können.

• Beispielnotebooks zum Trainieren des Modells und Planen der Modellbewertung.

Darüber hinaus können Sie Ihre eigenen ML-Modelle und/oder Ihre eigene Spark-Umgebung verwenden, um sie in Microsoft Sentinel zu integrieren.

Mit der BYO-ML-Plattform können Sie einen Einstieg in die Erstellung Ihrer eigenen ML-Modelle erhalten:

• Das Notebook mit Beispieldaten hilft Ihnen, umfassende praktische Erfahrungen zu erhalten, ohne sich Gedanken über den Umgang mit Produktionsdaten machen zu müssen.

• Das in die Spark-Umgebung integrierte Paket reduziert die Herausforderungen und Spannungen bei der Verwaltung der Infrastruktur.

• Die Bibliotheken unterstützen Datenverschiebungen. Trainings- und Bewertungsnotebooks veranschaulichen die End-to-End-Erfahrung und dienen Ihnen als Vorlage für die Anpassung an Ihre Umgebung.

Anwendungsfälle

Die BYO-ML-Plattform und das Byo-ML-Paket reduzieren den Zeit- und Aufwand, den Sie zum Erstellen Ihrer eigenen ML-Erkennungen benötigen, erheblich, und sie entfesseln die Fähigkeit, bestimmte Sicherheitsprobleme in Microsoft Sentinel zu beheben. Die Plattform unterstützt die folgenden Anwendungsfälle:

Trainieren eines ML-Algorithmus zum Abrufen eines angepassten Modells: Sie können einen vorhandenen ML-Algorithmus (freigegeben von Microsoft oder der Benutzercommunity) verwenden und ihn einfach mit Ihren eigenen Daten trainieren, um ein angepasstes ML-Modell zu erhalten, das besser zu Ihren Daten und Ihrer Umgebung passt.

Ändern Sie eine ML-Algorithmusvorlage, um ein angepasstes Modell zu erhalten: Sie können eine ML-Algorithmusvorlage (freigegeben von Microsoft oder der Benutzercommunity) ändern und den geänderten Algorithmus mit Ihren eigenen Daten trainieren, um ein angepasstes Modell abzuleiten, das ihrem spezifischen Problem entspricht.

Erstellen Sie Ihr eigenes Modell: Erstellen Sie Ihr eigenes Modell von Grund auf neu, indem Sie die BYO-ML-Plattform und die Hilfsprogramme von Microsoft Sentinel verwenden.

Integrieren Sie Ihre Databricks-/Spark-Umgebung: Integrieren Sie Ihre vorhandene Databricks/Spark-Umgebung in Microsoft Sentinel, und verwenden Sie BYO-ML-Bibliotheken und -Vorlagen, um ML-Modelle für ihre individuellen Situationen zu erstellen.

Importieren Sie Ihr eigenes ML-Modell: Sie können Ihre eigenen ML-Modelle importieren und die BYO-ML-Plattform und Hilfsprogramme verwenden, um sie in Microsoft Sentinel zu integrieren.

Freigeben eines ML-Algorithmus: Teilen Sie einen ML-Algorithmus für die Community, um sie zu übernehmen und anzupassen.

Verwenden von ML zur Unterstützung von SecOps: Verwenden Sie Ihr eigenes benutzerdefiniertes ML-Modell und Die Ergebnisse für Suche, Erkennung, Untersuchung und Reaktion.

In diesem Artikel werden die Komponenten der BYO-ML-Plattform und die Nutzung der Plattform und des Algorithmus für den Zugriff auf anomale Ressourcen erläutert, um eine angepasste ML-Erkennung mit Microsoft Sentinel bereitzustellen.

Azure Databricks/Spark-Umgebung

Apache Spark hat einen Sprung nach vorn bei der Vereinfachung von Big Data gemacht, indem ein einheitliches Framework zum Erstellen von Datenpipelines bereitgestellt wurde. Azure Databricks geht dies weiter, indem eine Cloudplattform ohne Verwaltung bereitgestellt wird, die auf Spark basiert. Es wird empfohlen, Databricks für Ihre BYO-ML-Plattform zu verwenden, damit Sie sich darauf konzentrieren können, Antworten zu finden, die sich unmittelbar auf Ihr Unternehmen auswirken, anstatt die Datenpipelines und Plattformprobleme anzugehen.

Wenn Sie bereits über Databricks oder eine andere Spark-Umgebung verfügen und es vorziehen, das vorhandene Setup zu verwenden, funktioniert das BYO-ML-Paket ebenfalls einwandfrei.

BYO-ML-Paket

Das BYO ML-Paket enthält die bewährten Methoden und Untersuchungen von Microsoft im Front-End des ML für die Sicherheit. In diesem Paket stellen wir die folgende Liste von Hilfsprogrammen, Notebooks und Algorithmusvorlagen für Sicherheitsprobleme bereit.

Die erste ml-Algorithmusvorlage, die wir anbieten, ist für die Erkennung von anomalen Ressourcenzugriffen. Es basiert auf einem kollaborativen Filteralgorithmus und wird mit Zugriffsprotokollen für Windows-Dateifreigaben (Sicherheitsereignisse mit Ereignis-ID 5140) trainiert. Die wichtigsten Informationen, die Sie für dieses Modell im Protokoll benötigen, sind die Kopplung von Benutzern und Ressourcen, auf die zugegriffen wird.

Beispiel Exemplarische Vorgehensweise: Erkennung des Zugriffs auf anomale Dateifreigaben

Nachdem Sie nun mit den wichtigsten Komponenten der BYO-ML-Plattform vertraut sind, finden Sie hier ein Beispiel, das Ihnen zeigt, wie Sie die Plattform und die Komponenten verwenden, um eine angepasste ML-Erkennung bereitzustellen.

Einrichten der Databricks/Spark-Umgebung

Sie müssen Ihre eigene Databricks-Umgebung einrichten, wenn Sie noch keine haben. Anweisungen finden Sie im Databricks-Schnellstartdokument .

Anweisung zum automatischen Export

Um benutzerdefinierte ML-Modelle basierend auf Ihren eigenen Daten in Microsoft Sentinel zu erstellen, müssen Sie Ihre Daten aus Log Analytics in eine Blob Storage- oder Event Hub-Ressource exportieren, damit das ML-Modell über Databricks darauf zugreifen kann. Erfahren Sie, wie Sie Daten in Microsoft Sentinel erfassen.

Für dieses Beispiel benötigen Sie Ihre Trainingsdaten für das Dateifreigabezugriffsprotokoll im Azure Blob Storage. Das Format der Daten ist im Notebook und in den Bibliotheken dokumentiert.

Sie können Ihre Daten mithilfe der Azure CLI automatisch aus Log Analytics exportieren.

Ihnen muss die Rolle Mitwirkender in Ihrem Log Analytics-Arbeitsbereich, Ihrem Speicherkonto und Ihrer EventHub-Ressource zugewiesen sein, um die Befehle ausführen zu können.

Hier sehen Sie einen Beispielsatz von Befehlen zum Einrichten des automatischen Exports:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Exportieren von benutzerdefinierten Daten

Für benutzerdefinierte Daten, die vom automatischen Export von Log Analytics nicht unterstützt werden, können Sie Logik-App oder andere Lösungen verwenden, um Ihre Daten zu verschieben. Weitere Informationen finden Sie im Blog und Skript exportieren von Log Analytics-Daten in den Blobspeicher .

Korrelieren mit Daten außerhalb von Microsoft Sentinel

Sie können auch Daten von außerhalb von Microsoft Sentinel in den Blobspeicher oder Event Hub übertragen und mit den Microsoft Sentinel Daten korrelieren, um Ihre ML-Modelle zu erstellen.

Kopieren und Installieren der zugehörigen Pakete

Kopieren Sie das BYO-ML-Paket aus dem zuvor erwähnten Microsoft Sentinel GitHub-Repository in Ihre Databricks-Umgebung. Öffnen Sie dann die Notebooks, und befolgen Sie die Anweisungen im Notebook, um die erforderlichen Bibliotheken auf Ihren Clustern zu installieren.

Modelltraining und -bewertung

Befolgen Sie die Anweisungen in den beiden Notebooks, um die Konfigurationen entsprechend Ihrer eigenen Umgebung und Ihrer eigenen Ressourcen zu ändern, führen Sie die Schritte zum Trainieren und Erstellen Ihres Modells aus, und planen Sie dann das Modell, um eingehende Dateifreigabezugriffsprotokolle zu überprüfen.

Schreiben von Ergebnissen in Log Analytics

Sobald Sie die Bewertung geplant haben, können Sie das Modul im Bewertungsnotebook verwenden, um die Bewertungsergebnisse in den Log Analytics-Arbeitsbereich zu schreiben, der Ihrem Microsoft Sentinel instance zugeordnet ist.

Überprüfen der Ergebnisse in Microsoft Sentinel

Um Ihre bewerteten Ergebnisse zusammen mit den zugehörigen Protokolldetails anzuzeigen, wechseln Sie zurück zu Ihrem Microsoft Sentinel-Portal. Unter Benutzerdefinierte Protokolle> werden die Ergebnisse in der AnomalousResourceAccessResult_CL Tabelle (oder ihrem eigenen benutzerdefinierten Tabellennamen) angezeigt. Sie können diese Ergebnisse verwenden, um Ihre Untersuchungs- und Huntingerfahrungen zu verbessern.

Erstellen einer benutzerdefinierten Analyseregel mit ML-Ergebnissen

Sobald Sie bestätigt haben, dass die ML-Ergebnisse in der Tabelle mit den benutzerdefinierten Protokollen enthalten sind und Sie mit der Genauigkeit der Bewertungen zufrieden sind, können Sie eine Erkennung basierend auf den Ergebnissen erstellen. Wechseln Sie im Microsoft Sentinel-Portal zu Analyse, und erstellen Sie eine neue Erkennungsregel. Im Folgenden finden Sie ein Beispiel für die Abfrage, die zum Erstellen der Erkennung verwendet wird.

Anzeigen und Reagieren auf Vorfälle

Nachdem Sie die Analyseregel basierend auf den ML-Ergebnissen eingerichtet haben und Ergebnisse über dem in der Abfrage festgelegten Schwellenwert liegen, wird ein Incident generiert und auf der Seite Incidents auf Microsoft Sentinel angezeigt.

Nächste Schritte

In diesem Dokument haben Sie erfahren, wie Sie die BYO-ML-Plattform von Microsoft Sentinel verwenden, um Ihre eigenen Algorithmen für maschinelles Lernen zu erstellen oder zu importieren, um Daten zu analysieren und Bedrohungen zu erkennen.

• Lesen Sie Beiträge zum maschinellen Lernen und viele andere relevante Themen im Microsoft Sentinel Blog.