Auswählen eines Datenerfassungstools

Nachdem Sie eine Zielplattform für Ihre Verlaufsdaten ausgewählt haben, besteht der nächste Schritt darin, ein Tool zum Übertragen Ihrer Daten auszuwählen.

In diesem Artikel werden verschiedene Tools beschrieben, mit denen Ihre Verlaufsdaten auf die ausgewählte Zielplattform übertragen werden. In dieser Tabelle sind die tools aufgeführt, die für jede Zielplattform verfügbar sind, sowie allgemeine Tools, die Sie beim Erfassungsprozess unterstützen.

Azure Monitor Basic Logs/Archiv

Stellen Sie vor dem Erfassen von Daten in Azure Überwachen von Basisprotokollen oder Archiv für niedrigere Erfassungspreise sicher, dass die Tabelle, in die Sie schreiben, als Basisprotokolle konfiguriert ist. Sehen Sie sich das benutzerdefinierte Protokollerfassungstool Azure Monitor und die direkte API-Methode für Azure Monitor Basic Logs an.

Azure Benutzerdefiniertes Protokollerfassungstool überwachen

Das benutzerdefinierte Protokollerfassungstool ist ein PowerShell-Skript, das benutzerdefinierte Daten an einen Azure Arbeitsbereich Überwachungsprotokolle sendet. Sie können das Skript auf den Ordner verweisen, in dem sich alle Ihre Protokolldateien befinden, und das Skript pusht die Dateien in diesen Ordner. Das Skript akzeptiert ein CSV- oder JSON-Format für Protokolldateien.

Direkte API

Mit dieser Option erfassen Sie Ihre benutzerdefinierten Protokolle in Azure Überwachungsprotokolle. Sie erfassen die Protokolle mit einem PowerShell-Skript, das eine REST-API verwendet. Alternativ können Sie eine beliebige andere Programmiersprache verwenden, um die Erfassung durchzuführen, und Sie können andere Azure-Dienste verwenden, um die Computeebene zu abstrahieren, z. B. Azure Functions oder Azure Logic Apps.

Azure Data Explorer

Sie können Daten auf verschiedene Arten in Azure Data Explorer (ADX) erfassen.

Die von ADX akzeptierten Erfassungsmethoden basieren auf verschiedenen Komponenten:

• SDKs für verschiedene Sprachen, z. B. .NET, Go, Python, Java, NodeJS und APIs.
• Verwaltete Pipelines wie Event Grid oder Storage Blob Event Hubs und Azure Data Factory.
• Connectors oder Plug-Ins, z. B. Logstash, Kafka, Power Automate und Apache Spark.

Sehen Sie sich lightIngest und Logstash an, zwei Methoden, die besser auf den Anwendungsfall für die Datenmigration zugeschnitten sind.

LightIngest

ADX hat das Hilfsprogramm LightIngest speziell für den Anwendungsfall der Historischen Datenmigration entwickelt. Sie können LightIngest verwenden, um Daten aus einem lokalen Dateisystem oder Azure Blob Storage in ADX zu kopieren.

Hier sind einige Hauptvorteile und Funktionen von LightIngest:

• Da es keine Zeitliche Einschränkung für die Erfassungsdauer gibt, ist LightIngest besonders nützlich, wenn Sie große Datenmengen erfassen möchten.
• LightIngest ist nützlich, wenn Sie Datensätze nach dem Zeitpunkt ihrer Erstellung und nicht nach dem Zeitpunkt ihrer Erfassung abfragen möchten.
• Sie müssen sich nicht mit der komplexen Größenanpassung für LightIngest befassen, da das Hilfsprogramm die eigentliche Kopie nicht ausführt. LightIngest informiert ADX über die Blobs, die kopiert werden müssen, und ADX kopiert die Daten.

Wenn Sie LightIngest auswählen, lesen Sie diese Tipps und bewährten Methoden.

• Um die Migration zu beschleunigen und Die Kosten zu senken, erhöhen Sie die Größe Ihres ADX-Clusters, um mehr verfügbare Knoten für die Erfassung zu erstellen. Verringern Sie die Größe, sobald die Migration beendet ist.
• Stellen Sie für effizientere Abfragen nach der Erfassung der Daten in ADX sicher, dass die kopierten Daten den Zeitstempel für die ursprünglichen Ereignisse verwenden. Die Daten sollten nicht den Zeitstempel aus dem Zeitpunkt verwenden, an dem die Daten in ADX kopiert werden. Sie geben den Zeitstempel für LightIngest als Pfad des Dateinamens als Teil der CreationTime-Eigenschaft an.
• Wenn Ihre Pfad- oder Dateinamen keinen Zeitstempel enthalten, können Sie ADX trotzdem anweisen, die Daten mithilfe einer Partitionierungsrichtlinie zu organisieren.

Logstash

Logstash ist eine Open Source serverseitige Datenverarbeitungspipeline, die Daten aus vielen Quellen gleichzeitig erfasst, die Daten transformiert und die Daten dann an Ihren bevorzugten "Stash" sendet. Erfahren Sie, wie Sie Daten aus Logstash in Azure Data Explorer erfassen. Logstash wird auf Windows-, Linux- und macOS-Computern ausgeführt.

Um die Leistung zu optimieren, konfigurieren Sie die Logstash-Ebene entsprechend den Ereignissen pro Sekunde. Es wird empfohlen, LightIngest wann immer möglich zu verwenden, da LightIngest die AdX-Clustercomputing verwendet, um den Kopiervorgang durchzuführen.

Azure Blob Storage

Sie können Daten auf verschiedene Arten erfassen, um Azure Blob Storage.

• Azure Data Factory oder Azure Synapse
• AzCopy
• Azure Storage-Explorer
• Python
• SSIS

Überprüfen Sie die methoden Azure Data Factory (ADF) und Azure Synapse, die besser auf den Anwendungsfall der Datenmigration zugeschnitten sind.

Azure Data Factory oder Azure Synapse

So verwenden Sie die Copy-Aktivität in Azure Data Factory-Pipelines (ADF) oder Synapse-Pipelines:

1. Erstellen und Konfigurieren einer selbstgehosteten Integration Runtime Diese Komponente ist für das Kopieren der Daten von Ihrem lokalen Host verantwortlich.
2. Erstellen Sie verknüpfte Dienste für den Quelldatenspeicher (Dateisystem - und Senkendatenspeicher blob storage).
3. Verwenden Sie zum Kopieren der Daten das Tool Daten kopieren. Alternativ können Sie Methoden wie PowerShell, Azure-Portal, ein .NET SDK usw. verwenden.

AzCopy

AzCopy ist ein einfaches Befehlszeilenprogramm, das Dateien in oder aus Speicherkonten kopiert. AzCopy ist für Windows, Linux und macOS verfügbar. Erfahren Sie, wie Sie lokale Daten mit AzCopy in Azure Blob Storage kopieren.

Sie können auch die folgenden Optionen verwenden, um die Daten zu kopieren:

• Erfahren Sie, wie Sie die Leistung von AzCopy optimieren.
• Erfahren Sie, wie Sie AzCopy konfigurieren.
• Erfahren Sie, wie Sie den Kopierbefehl verwenden.

Azure Data Box

In einem Szenario, in dem das Quell-SIEM nicht über eine gute Verbindung mit Azure verfügt, ist die Erfassung der Daten mit den in diesem Abschnitt beschriebenen Tools möglicherweise langsam oder sogar unmöglich. Um dieses Szenario zu beheben, können Sie Azure Data Box verwenden, um die Daten lokal aus dem Rechenzentrum des Kunden in ein Anwendung zu kopieren und diese Anwendung dann an ein Azure Rechenzentrum zu versenden. Obwohl Azure Data Box kein Ersatz für AzCopy oder LightIngest ist, können Sie dieses Tool verwenden, um die Datenübertragung zwischen dem Kundendatencenter und Azure zu beschleunigen.

Azure Data Box bietet drei verschiedene SKUs, abhängig von der Menge der zu migrierenden Daten:

• Data Box Disk
• Data Box
• Data Box Heavy

Nach Abschluss der Migration sind die Daten in einem Speicherkonto unter einem Ihrer Azure-Abonnements verfügbar. Anschließend können Sie AzCopy, LightIngest oder ADF verwenden, um Daten aus dem Speicherkonto zu erfassen.

SIEM-Datenmigrationsbeschleuniger

Neben der Auswahl eines Erfassungstools muss Ihr Team Zeit in die Einrichtung der Foundation-Umgebung investieren. Um diesen Prozess zu vereinfachen, können Sie den SIEM-Datenmigrationsbeschleuniger verwenden, der die folgenden Aufgaben automatisiert:

• Stellt einen virtuellen Windows-Computer bereit, der zum Verschieben der Protokolle aus der Quelle auf die Zielplattform verwendet wird.
• Lädt die folgenden Tools herunter und extrahiert sie in den Desktop des virtuellen Computers:
  • LightIngest: Wird zum Migrieren von Daten zu ADX verwendet
  • Azure Benutzerdefiniertes Protokollerfassungstool für Monitor: Wird zum Migrieren von Daten zu Log Analytics verwendet.
  • AzCopy: Dient zum Migrieren von Daten zu Azure Blob Storage
• Stellt die Zielplattform bereit, auf der Ihre Verlaufsprotokolle gehostet werden:
  • Azure Storage-Konto (Azure Blob Storage)
  • Azure Data Explorer Cluster und Datenbank
  • Azure Arbeitsbereich "Überwachungsprotokolle" (Standardprotokolle; mit Microsoft Sentinel aktiviert)

So verwenden Sie den SIEM-Datenmigrationsbeschleuniger:

1. Klicken Sie auf der Seite SIEM Data Migration Accelerator auf Deploy to Azure (Bereitstellen in Azure unten auf der Seite), und authentifizieren Sie sich.
2. Wählen Sie Grundlagen aus, wählen Sie Ihre Ressourcengruppe und Ihren Standort aus, und wählen Sie dann Weiter aus.
3. Wählen Sie Migrations-VM aus, und gehen Sie wie folgt vor:
   • Geben Sie den Namen des virtuellen Computers, den Benutzernamen und das Kennwort ein.
   • Wählen Sie ein vorhandenes VNET aus, oder erstellen Sie ein neues VNET für die Verbindung mit dem virtuellen Computer.
   • Wählen Sie die Größe des virtuellen Computers aus.
4. Wählen Sie Zielplattform aus, und führen Sie eine der folgenden Aktionen aus:
   • Überspringen Sie diesen Schritt.
   • Geben Sie den Namen des ADX-Clusters und der Datenbank, die SKU und die Anzahl der Knoten an.
   • Wählen Sie für Azure Blob Storage Konten ein vorhandenes Konto aus. Wenn Sie kein Konto haben, geben Sie einen neuen Kontonamen, -typ und -redundanz an.
   • Geben Sie für Azure Überwachungsprotokolle den Namen des neuen Arbeitsbereichs ein.

Nächste Schritte

In diesem Artikel haben Sie erfahren, wie Sie ein Tool zum Erfassen Ihrer Daten auf der Zielplattform auswählen.