Felsöka CEF och Syslog via AMA-anslutningsappar

Den här artikeln innehåller felsökningsvägledning för COMMON Event Format (CEF) och Syslog-datainsamling med hjälp av Azure Monitor Agent (AMA) i Microsoft Sentinel. Använd den här guiden för att diagnostisera och lösa problem med inmatning med loggvidarebefordringsdatorerna. Kommandona och konfigurationerna ska köras på de loggvidarebefordraredatorer där AMA och RSyslog/Syslog-ng är installerade.

Innan du börjar felsöka bör du bekanta dig med följande artiklar:

Översikt över arkitektur

Följande diagram illustrerar dataflödet från loggkällor till Microsoft Sentinel/Log Analytics-arbetsytor via RSyslog och Azure Monitor Agent.

Diagram som visar dataflöde från källa till Log Analytics via RSyslog och AMA.

Viktiga komponenter:

  • RSyslog/Syslog-ng: Tar emot loggar på port 514 och vidarebefordrar dem till AMA
  • Azure Monitor Agent: Bearbetar loggar enligt datainsamlingsregler (DCR)
  • Datainsamlingsregel: Definierar vilka loggar som ska samlas in och var de ska skickas

Inledande verifieringssteg

Kontrollera att loggar tas emot

Det kan ta upp till 20 minuter innan loggar visas i Microsoft Sentinel efter konfigurationen.

  1. Kör tcpdump för att kontrollera att loggarna anländer till vidarebefordraren:

    sudo tcpdump -i any port 514 -A -vv

  2. Kontrollera att loggkällan har konfigurerats för att skicka meddelanden till rätt IP-adress för vidarebefordraren.

  3. Sök efter infrastrukturkomponenter som kan påverka anslutningen:

    • Brandväggar
    • Lastbalanserare
    • Nätverkssäkerhetsgrupper

Kontrollera status för Azure Övervaka agenttillägg

  1. I Azure Portal går du till den virtuella datorn för loggvidarebefordrare.
  2. Välj Tillägg + program.
  3. Välj tillägget AzureMonitorLinuxAgent .
  4. Kontrollera att Status visar Att etableringen har slutförts.

Verifiera agentversionen

  1. På bladet AzureMonitorLinuxAgent-tillägg markerar du fältet Version .
  2. Kontrollera att versionen är en av de 2–3 senaste versionerna. Se AMA-versionsinformation för de senaste versionerna.

Obs!

Nya versioner kan ta upp till 5 veckor att distribuera efter den första versionen.

Felsökning på agentnivå

Kontrollera att agent- och RSyslog-tjänsterna körs.

sudo systemctl status azuremonitoragent
sudo systemctl status rsyslog
sudo systemctl status syslog-ng.service # If using Syslog-ng

Verifiera RSyslog-konfigurationen

RSyslog-konfigurationen består av /etc/rsyslog.conf och filer i /etc/rsyslog.d/.

  1. Kontrollera portkonfigurationen:

    grep -E 'imudp|imtcp' /etc/rsyslog.conf

    Förväntade utdata:

    module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

  2. Kontrollera att AMA-vidarebefordringskonfigurationen finns:

    cat /etc/rsyslog.d/10-azuremonitoragent-omfwd.conf

    Filen bör börja med:

    # Azure Monitor Agent configuration: forward logs to azuremonitoragent

Kontrollera portstatus

Kontrollera att de portar som krävs lyssnar:

sudo ss -lnp | grep -E "28330|514"

Förväntade utdata:

udp   UNCONN 0      0      0.0.0.0:514         0.0.0.0:*    users:(("rsyslogd",pid=12289,fd=5))
tcp   LISTEN 0      10     127.0.0.1:28330     0.0.0.0:*    users:(("mdsd",pid=1424,fd=1363))
tcp   LISTEN 0      25     0.0.0.0:514         0.0.0.0:*    users:(("rsyslogd",pid=12289,fd=7))

Detta bekräftar:

  • RSyslog lyssnar på port 514 (TCP och UDP)
  • MDSD (AMA-komponent) lyssnar på port 28330 (TCP)

Verifiera konfiguration av datainsamlingsregel

Kontrollera om domänkontrollanten är korrekt konfigurerad på agenten.

För CEF-loggar:

sudo grep -i -r "SECURITY_CEF_BLOB" /etc/opt/microsoft/azuremonitoragent/config-cache/configchunks

För Cisco ASA-loggar:

sudo grep -i -r "SECURITY_CISCO_ASA_BLOB" /etc/opt/microsoft/azuremonitoragent/config-cache/configchunks

Utdata bör visa en JSON-sträng som innehåller DCR-konfigurationen.

Granska brandväggsregler

Se till att brandväggsregler tillåter kommunikation mellan:

  • Loggkälla och RSyslog (port 514)
  • RSyslog och AMA (port 28330)
  • AMA- och Azure-slutpunkter

Konfiguration av datainsamlingsregel

Aktivera alla funktioner för felsökning

För inledande felsökning:

  1. I Azure Portal går du till datainsamlingsregeln.
  2. Aktivera alla syslog-anläggningar.
  3. Välj alla loggnivåer.
  4. Om det är tillgängligt aktiverar du insamling av meddelanden utan funktion eller allvarlighetsgrad.

Mer information finns i Välj anläggningar och allvarlighetsgrad.

Cef-validering (Common Event Format)

Krav för CEF-format

CEF använder Syslog som en transportmekanism med den här strukturen:

<Priority>Timestamp Hostname CEF:Version|Device Vendor|Device Product|Device Version|Device Event Class ID|Name|Severity|[Extension]

Exempel:

Jan 18 11:07:53 host CEF:0|Vendor|Product|1.0|100|EventName|5|src=10.0.0.1 dst=10.0.0.2

Vanliga problem med CEF-formatering

Felaktigt rubrikformat

  • Kontrollera att CEF-versionen finns: CEF:0|
  • Alla rubrikfält måste finnas och avgränsas med pipe-tecken (|)

Ogiltigt tecken som undflyer

  • Pipe-tecken (|) i rubrikvärden måste vara undantagna: \|
  • Omvänt snedstreck () måste vara undantagna: \\
  • Likhetstecken (=) i tillägg måste vara undantagna: \=

Saknade eller avmappade värden

Om du vill ha den fullständiga CEF-specifikationen söker du efter dokumentationen "Implementering av ArcSight Common Event Format (CEF)."

Avancerad felsökning

Aktivera diagnostisk spårning

Varning

Aktivera endast spårningsflaggor för felsökningssessioner. Spårningsflaggor genererar omfattande loggning som kan fylla diskutrymmet snabbt.

  1. Redigera AMA-konfigurationsfilen:

    sudo vim /etc/default/azuremonitoragent

  2. Lägg till spårningsflaggor på MDSD_OPTIONS raden:

    export MDSD_OPTIONS="-A -c /etc/opt/microsoft/azuremonitoragent/mdsd.xml -d -r $MDSD_ROLE_PREFIX -S $MDSD_SPOOL_DIRECTORY/eh -L $MDSD_SPOOL_DIRECTORY/events -e $MDSD_LOG_DIR/mdsd.err -w $MDSD_LOG_DIR/mdsd.warn -o $MDSD_LOG_DIR/mdsd.info -T 0x2002"

  3. Starta om agenten:

    sudo systemctl restart azuremonitoragent

  4. Återskapa problemet och vänta några minuter.

  5. Granska felsökningsinformationen i /var/opt/microsoft/azuremonitoragent/log/mdsd.info.

  6. Ta bort spårningsflaggan och starta om agenten efter felsökning.

Övervaka loggbearbetning i realtid

Visa inkommande loggar när de bearbetas:

tail -f /var/opt/microsoft/azuremonitoragent/log/mdsd.info

Filtrera efter specifika loggtyper:

sudo tail -f /var/opt/microsoft/azuremonitoragent/log/mdsd.* | grep -a "CEF"

Granska specifika anläggningsloggar:

grep local0.info /var/opt/microsoft/azuremonitoragent/log/mdsd.info

Verifiera lyckad loggbearbetning

När spårningsflaggor är aktiverade kan du kontrollera att loggarna bearbetas korrekt genom att undersöka felsökningsutdata.

Exempel på ASA-logginmatning

För Cisco ASA-loggar visas lyckad bearbetning i loggarna som:

2022-01-18T22:00:14.8650520Z: virtual bool Pipe::SyslogCiscoASAPipeStage::PreProcess(std::shared_ptr<CanonicalEntity>) (.../mdsd/PipeStages.cc +604) [PipeStage] Processing CiscoASA event '%ASA-1-105003: (Primary) Monitoring on 123'

2022-01-18T22:00:14.8651330Z: virtual void ODSUploader::execute(const MdsTime&) (.../mdsd/ODSUploader.cc +325) Uploading 1 SECURITY_CISCO_ASA_BLOB rows to ODS.

2022-01-18T22:00:14.8653090Z: int ODSUploader::UploadFixedTypeLogs(const string&, const string&, const std::function<void(bool, long unsigned int, int, long unsigned int)>&, int, uint64_t) (.../mdsd/ODSUploader.cc +691) Uploading to ODS with request 3333-44dd-555555eeeeee Host https://00001111-aaaa-2222-bbbb-3333cccc4444.ods.opinsights.azure.com for datatype SECURITY_CISCO_ASA_BLOB. Payload: {"DataType":"SECURITY_CISCO_ASA_BLOB","IPName":"SecurityInsights","ManagementGroupId":"00000000-0000-0000-0000-000000000002","sourceHealthServiceId":"2c2c2c2c-3333-dddd-4444-5e5e5e5e5e5e","type":"JsonData","DataItems":[{"Facility":"local0","SeverityNumber":"6","Timestamp":"2022-01-14T23:28:49.775619Z","HostIP":"127.0.0.1","Message":" (Primary) Monitoring on 123","ProcessId":"","Severity":"info","Host":"localhost","ident":"%ASA-1-105003"}]}. Uncompressed size: 443. Request size: 322

Nyckelindikatorer för lyckad bearbetning:

  • Händelsen identifieras som en CiscoASA-händelse
  • Loggen laddas upp till ODS (Operations Data Service)
  • Ett begärande-ID genereras för spårning
  • Nyttolasten innehåller korrekt formaterade JSON-data

Exempel på CEF-logginmatning

För CEF-loggar visas lyckad bearbetning som:

2022-01-14T23:09:13.9087860Z: int ODSUploader::UploadFixedTypeLogs(const string&, const string&, const std::function<void(bool, long unsigned int, int, long unsigned int)>&, int, uint64_t) (.../mdsd/ODSUploader.cc +691) Uploading to ODS with request 3333-44dd-555555eeeeee Host https://00001111-aaaa-2222-bbbb-3333cccc4444.ods.opinsights.azure.com for datatype SECURITY_CEF_BLOB. Payload: {"DataType":"SECURITY_CEF_BLOB","IPName":"SecurityInsights","ManagementGroupId":"00000000-0000-0000-0000-000000000002","sourceHealthServiceId":"2c2c2c2c-3333-dddd-4444-5e5e5e5e5e5e","type":"JsonData","DataItems":[{"Facility":"local0","SeverityNumber":"6","Timestamp":"2022-01-14T23:08:49.731862Z","HostIP":"127.0.0.1","Message":"0|device1|PAN-OS|8.0.0|general|SYSTEM|3|rt=Nov 04 2018 07:15:46 GMTcs3Label=Virtual","ProcessId":"","Severity":"info","Host":"localhost","ident":"CEF"}]}. Uncompressed size: 482. Request size: 350

Nyckelindikatorer för lyckad cef-bearbetning:

  • Datatypen är SECURITY_CEF_BLOB
  • Uppladdningsbegäran innehåller en giltig slutpunkt
  • CEF-meddelandestrukturen bevaras i nyttolasten
  • Komprimeringsmått visar att data optimeras för överföring

Viktigt

Kom ihåg att inaktivera spårningsflaggor när du har slutfört undersökningen för att förhindra överdriven diskanvändning.

Samla in diagnostikinformation

Samla in följande information innan du öppnar ett supportärende:

Köra AMA-felsökaren

Skriptet kan köras med specifika flaggor för olika loggtyper.

  • --cef: För loggar med vanligt händelseformat
  • --asa: För Cisco ASA-loggar
  • --ftd: För Cisco Firepower Threat Defense-loggar

Utdata sparas i /tmp/troubleshooter_output_file.log.

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py && sudo python3 Sentinel_AMA_troubleshoot.py [--cef | --asa | --ftd]

Relaterat innehåll

  • Last updated on