Selezionare uno strumento di inserimento dati

Dopo aver selezionato una piattaforma di destinazione per i dati cronologici, il passaggio successivo consiste nel selezionare uno strumento per trasferire i dati.

Questo articolo descrive un set di diversi strumenti usati per trasferire i dati cronologici alla piattaforma di destinazione selezionata. Questa tabella elenca gli strumenti disponibili per ogni piattaforma di destinazione e gli strumenti generali per facilitare il processo di inserimento.

Azure Monitorare i log di base/Archivio

Prima di inserire i dati in Azure Monitorare i log di base o Archivio, per ridurre i prezzi di inserimento, assicurarsi che la tabella in cui si sta scrivendo sia configurata come log di base. Esaminare lo strumento di inserimento del log personalizzato Azure Monitor e il metodo API diretto per Azure Monitorare i log di base.

strumento di inserimento del log personalizzato Azure Monitor

Lo strumento di inserimento log personalizzato è uno script di PowerShell che invia dati personalizzati a un'area di lavoro log di monitoraggio Azure. È possibile puntare lo script alla cartella in cui risiedono tutti i file di log e lo script esegue il push dei file in tale cartella. Lo script accetta un formato CSV o JSON per i file di log.

API diretta

Con questa opzione, i log personalizzati vengono inseriti in Azure Log di monitoraggio. I log vengono inseriti con uno script di PowerShell che usa un'API REST. In alternativa, è possibile usare qualsiasi altro linguaggio di programmazione per eseguire l'inserimento ed è possibile usare altri servizi Azure per astrarre il livello di calcolo, ad esempio Funzioni di Azure o app per la logica Azure.

Esplora dati di Azure

È possibile inserire dati in Azure Esplora dati (ADX) in diversi modi.

I metodi di inserimento accettati da ADX si basano su componenti diversi:

• SDK per linguaggi diversi, ad esempio .NET, Go, Python, Java, NodeJS e API.
• Pipeline gestite, ad esempio Griglia di eventi o Hub eventi BLOB di archiviazione, e Azure Data Factory.
• Connettori o plug-in, ad esempio Logstash, Kafka, Power Automate e Apache Spark.

Esaminare LightIngest e Logstash, due metodi più adatti al caso d'uso della migrazione dei dati.

LightIngest

ADX ha sviluppato l'utilità LightIngest in modo specifico per il caso d'uso della migrazione dei dati cronologici. È possibile usare LightIngest per copiare dati da un file system locale o Archiviazione BLOB di Azure in ADX.

Ecco alcuni vantaggi e funzionalità principali di LightIngest:

• Poiché non esiste alcun vincolo di tempo per la durata dell'inserimento, LightIngest è particolarmente utile quando si desidera inserire grandi quantità di dati.
• LightIngest è utile quando si desidera eseguire query sui record in base all'ora in cui sono stati creati e non al momento in cui sono stati inseriti.
• Non è necessario gestire il ridimensionamento complesso per LightIngest, perché l'utilità non esegue la copia effettiva. LightIngest informa ADX sui BLOB che devono essere copiati e ADX copia i dati.

Se si sceglie LightIngest, esaminare questi suggerimenti e procedure consigliate.

• Per velocizzare la migrazione e ridurre i costi, aumentare le dimensioni del cluster ADX per creare più nodi disponibili per l'inserimento. Ridurre le dimensioni al termine della migrazione.
• Per query più efficienti dopo l'inserimento dei dati in ADX, assicurarsi che i dati copiati utilizzino il timestamp per gli eventi originali. I dati non devono usare il timestamp da quando i dati vengono copiati in ADX. Il timestamp viene fornito a LightIngest come percorso del nome file come parte della proprietà CreationTime.
• Se il percorso o i nomi di file non includono un timestamp, è comunque possibile indicare ad ADX di organizzare i dati usando un criterio di partizionamento.

Logstash

Logstash è una pipeline di elaborazione dati sul lato server open source che inserisce i dati da molte origini contemporaneamente, trasforma i dati e quindi invia i dati alla "stash" preferita. Informazioni su come inserire dati da Logstash a Azure Esplora dati. Logstash viene eseguito in computer Windows, Linux e macOS.

Per ottimizzare le prestazioni, configurare le dimensioni del livello Logstash in base agli eventi al secondo. È consigliabile usare LightIngest laddove possibile, perché LightIngest si basa sul cluster computing ADX per eseguire la copia.

Archiviazione BLOB di Azure

È possibile inserire i dati per Archiviazione BLOB di Azure in diversi modi.

• Azure Data Factory o Azure Synapse
• AzCopy
• Azure Storage Explorer
• Python
• SSIS

Esaminare i metodi Azure Data Factory (ADF) e Azure Synapse, più adatti al caso d'uso della migrazione dei dati.

Azure Data Factory o Azure Synapse

Per usare il attività Copy nelle pipeline di Azure Data Factory (ADF) o Synapse:

1. Creare e configurare un runtime di integrazione self-hosted. Questo componente è responsabile della copia dei dati dall'host locale.
2. Creare servizi collegati per l'archivio dati di origine (file system e archivio BLOB dell'archivio dati sink).
3. Per copiare i dati, usare lo strumento Copia dati. In alternativa, è possibile usare metodi come PowerShell, portale di Azure, .NET SDK e così via.

AzCopy

AzCopy è una semplice utilità da riga di comando che copia i file da o verso gli account di archiviazione. AzCopy è disponibile per Windows, Linux e macOS. Informazioni su come copiare i dati locali nell'archivio BLOB Azure con AzCopy.

È anche possibile usare queste opzioni per copiare i dati:

• Informazioni su come ottimizzare le prestazioni di AzCopy.
• Informazioni su come configurare AzCopy.
• Informazioni su come usare il comando copy.

Azure Data Box

In uno scenario in cui il SIEM di origine non ha una buona connettività a Azure, l'inserimento dei dati usando gli strumenti esaminati in questa sezione potrebbe essere lento o addirittura impossibile. Per risolvere questo scenario, è possibile usare Azure Data Box per copiare i dati in locale dal data center del cliente in un'appliance e quindi spedire l'appliance a un data center Azure. Anche se Azure Data Box non sostituisce AzCopy o LightIngest, è possibile usare questo strumento per accelerare il trasferimento dei dati tra il data center del cliente e Azure.

Azure Data Box offre tre SKU diversi, a seconda della quantità di dati di cui eseguire la migrazione:

• Data Box Disk
• Data Box
• Data Box Heavy

Dopo aver completato la migrazione, i dati sono disponibili in un account di archiviazione in una delle sottoscrizioni Azure. È quindi possibile usare AzCopy, LightIngest o ADF per inserire i dati dall'account di archiviazione.

Acceleratore di migrazione dei dati SIEM

Oltre a selezionare uno strumento di inserimento, il team deve investire tempo nella configurazione dell'ambiente di base. Per semplificare questo processo, è possibile usare l'acceleratore di migrazione dei dati SIEM, che automatizza le attività seguenti:

• Distribuisce una macchina virtuale Windows che verrà usata per spostare i log dall'origine alla piattaforma di destinazione
• Scarica ed estrae gli strumenti seguenti nel desktop della macchina virtuale:
  • LightIngest: usato per eseguire la migrazione dei dati ad ADX
  • strumento di inserimento del log personalizzato Azure Monitor: usato per eseguire la migrazione dei dati a Log Analytics
  • AzCopy: usato per eseguire la migrazione dei dati a Archiviazione BLOB di Azure
• Distribuisce la piattaforma di destinazione che ospiterà i log cronologici:
  • account di archiviazione Azure (Archiviazione BLOB di Azure)
  • Azure Esplora dati cluster e database
  • Azure'area di lavoro Monitor Logs (Log di base; abilitata con Microsoft Sentinel)

Per usare l'acceleratore di migrazione dei dati SIEM:

1. Nella pagina dell'acceleratore di migrazione dei dati SIEM fare clic su Distribuisci per Azure nella parte inferiore della pagina e eseguire l'autenticazione.
2. Selezionare Informazioni di base, selezionare il gruppo di risorse e il percorso e quindi selezionare Avanti.
3. Selezionare VM di migrazione ed eseguire le operazioni seguenti:
   • Digitare il nome della macchina virtuale, il nome utente e la password.
   • Selezionare una rete virtuale esistente o creare una nuova rete virtuale per la connessione alla macchina virtuale.
   • Selezionare le dimensioni della macchina virtuale.
4. Selezionare Piattaforma di destinazione ed eseguire una delle operazioni seguenti:
   • Ignorare questo passaggio.
   • Specificare il cluster ADX e il nome del database, lo SKU e il numero di nodi.
   • Per Archiviazione BLOB di Azure account selezionare un account esistente. Se non si dispone di un account, specificare un nuovo nome, tipo e ridondanza dell'account.
   • Per Azure Log di monitoraggio digitare il nome della nuova area di lavoro.

Passaggi successivi

In questo articolo si è appreso come selezionare uno strumento per inserire i dati nella piattaforma di destinazione.