KQL en de Microsoft Sentinel data lake

Met Microsoft Sentinel Data Lake kunt u logboeken met een hoog volume, lage kwaliteit, zoals firewall- of DNS-gegevens, inventarissen van activa en historische records gedurende maximaal 12 jaar opslaan en analyseren. Omdat opslag en rekenkracht losgekoppeld zijn, kunt u een query uitvoeren op dezelfde kopie van gegevens met meerdere hulpprogramma's, zonder deze te verplaatsen of te dupliceren.

U kunt gegevens in het data lake verkennen met behulp van Kusto-querytaal (KQL) en Jupyter Notebooks, ter ondersteuning van een breed scala aan scenario's, van het opsporen van bedreigingen en onderzoeken tot verrijking en machine learning.

In dit artikel worden de kernconcepten en scenario's van data lake-verkenning besproken, worden veelvoorkomende use-cases beschreven en wordt uitgelegd hoe u met uw gegevens kunt werken met behulp van vertrouwde hulpprogramma's.

Interactieve KQL-query's

Gebruik Kusto-querytaal (KQL) om interactieve query's rechtstreeks op de data lake uit te voeren via meerdere werkruimten.

Met behulp van KQL kunnen analisten:

  • Onderzoeken en reageren met behulp van historische gegevens: gebruik langetermijngegevens in de data lake om forensisch bewijs te verzamelen, een incident te onderzoeken, patronen te detecteren en incidenten te reageren.
  • Onderzoek verrijken met logboeken met grote volumes: maak gebruik van luidruchtige of gegevens met een lage kwaliteit die zijn opgeslagen in de Data Lake om context en diepte toe te voegen aan beveiligingsonderzoeken.
  • Correleren van asset- en logboekgegevens in de data lake: query's uitvoeren op assetinventarisaties en identiteitslogboeken om gebruikersactiviteit te verbinden met resources en bredere aanvallen te ontdekken.

Gebruik KQL-query's onder Microsoft Sentinel>Data lake exploration in de Defender-portal om ad-hoc interactieve KQL-query's rechtstreeks op langetermijngegevens uit te voeren. Data Lake-verkenning is beschikbaar nadat het onboardingproces is voltooid. KQL-query's zijn ideaal voor SOC-analisten die incidenten onderzoeken waarbij gegevens zich mogelijk niet meer in de analyselaag bevinden. Query's maken forensische analyse mogelijk met behulp van vertrouwde query's zonder code opnieuw te schrijven. Zie Data Lake Exploration - KQL-query's om aan de slag te gaan met KQL-query's.

KQL-taken

KQL-taken zijn eenmalige of geplande asynchrone KQL-query's op gegevens in de Microsoft Sentinel Data Lake. Taken zijn bijvoorbeeld nuttig voor onderzoeks- en analytische scenario's;

  • Langdurige eenmalige query's voor incidentonderzoek en incidentrespons (IR)
  • Taken voor gegevensaggregatie die verrijkingswerkstromen ondersteunen met behulp van logboeken met lage kwaliteit
  • Matchingscans voor historische bedreigingsinformatie (TI) voor retrospectieve analyse
  • Anomaliedetectiescans die ongebruikelijke patronen in meerdere tabellen identificeren
  • Promoot gegevens van de Data Lake naar de analyselaag om incidentonderzoek of logboekcorrelatie mogelijk te maken.

Voer eenmalige KQL-taken uit op de data lake om specifieke historische gegevens van de data lake-laag naar de analyselaag te promoveren of maak aangepaste overzichtstabellen in de data lake-laag. Het promoten van gegevens is handig voor hoofdoorzaakanalyse of zero-day-detectie bij het onderzoeken van incidenten die zich buiten het venster van de analyselaag bevinden. Verzend een geplande taak op Data Lake om terugkerende query's te automatiseren om afwijkingen te detecteren of basislijnen te bouwen met behulp van historische gegevens. Bedreigingsjagers kunnen dit gebruiken om in de loop van de tijd te controleren op ongebruikelijke patronen en resultaten in detecties of dashboards door te voeren. Zie Taken maken in de Microsoft Sentinel data lake en Taken beheren in de Microsoft Sentinel data lake voor meer informatie.

Gegevens visualiseren in Microsoft Sentinel data lake met behulp van Workbooks

U kunt Microsoft Sentinel werkmappen gebruiken om gegevens in de Microsoft Sentinel data lake te visualiseren en te bewaken. Door Sentinel data lake te selecteren als de gegevensbron in een werkmap, kunt u KQL-query's rechtstreeks op de data lake uitvoeren en de resultaten weergeven als interactieve grafieken en tabellen. Hiermee kunt u dashboards en rapporten maken die gebruikmaken van langetermijntelemetrie met een hoog volume die is opgeslagen in de data lake, waardoor het ideaal is voor geavanceerde opsporing van bedreigingen, trendanalyse en rapportage van leidinggevenden. Zie Gegevens visualiseren in Microsoft Sentinel data lake met behulp van workbooks voor meer informatie over het maken van werkmappen met Sentinel data lake.

Verkenningsscenario's

De volgende scenario's laten zien hoe KQL-query's in de Microsoft Sentinel Data Lake kunnen worden gebruikt om beveiligingsbewerkingen te verbeteren:

Scenario Details Voorbeeld
Beveiligingsincidenten onderzoeken met behulp van historische langetermijngegevens Beveiligingsteams moeten vaak verder gaan dan het standaardretentievenster om het volledige bereik van een incident te ontdekken. Een LAAG 3 SOC-analist die een brute force-aanval onderzoekt, gebruikt KQL-query's op de data lake om gegevens ouder dan 90 dagen op te vragen. Na het identificeren van verdachte activiteiten van meer dan een jaar geleden, promoveert de analist de bevindingen naar de analyselaag voor diepere analyse en incidentcorrelatie.
Anomalieƫn detecteren en gedragsbasislijnen bouwen in de loop van de tijd Detectietechnici vertrouwen op historische gegevens om basislijnen vast te stellen en patronen te identificeren die op schadelijk gedrag kunnen duiden. Een detectietechnicus analyseert aanmeldingslogboeken gedurende enkele maanden om pieken in activiteit te detecteren. Door een KQL-taak in het data lake te plannen, bouwen ze een tijdreeksbasislijn en ontdekken ze een patroon dat consistent is met referentiemisbruik.
Onderzoek verrijken met behulp van logboeken met een groot volume, lage kwaliteit Sommige logboeken zijn te luidruchtig of volumineuze logboeken voor de analyselaag, maar zijn nog steeds waardevol voor contextuele analyse. SOC-analisten gebruiken KQL om netwerk- en firewalllogboeken op te vragen die alleen zijn opgeslagen in de data lake. Deze logboeken bevinden zich niet in de analyselaag, maar helpen bij het valideren van waarschuwingen en het leveren van ondersteunend bewijs tijdens onderzoeken.
Reageren op nieuwe bedreigingen met flexibele gegevenslagen Wanneer er nieuwe bedreigingsinformatie optreedt, moeten analisten snel historische gegevens openen en erop reageren. Een bedreigingsinformatieanalist reageert op een nieuw gepubliceerd rapport over bedreigingsanalyse door de voorgestelde KQL-query's uit te voeren in de Data Lake. Bij het detecteren van relevante activiteiten van enkele maanden geleden, wordt het vereiste logboek gepromoveerd naar de analyselaag. Als u realtimedetectie wilt inschakelen voor toekomstige detecties, kan het beleid voor lagen worden aangepast op de relevante tabellen om de meest recente logboeken in de analyselaag te spiegelen.
Assetgegevens verkennen uit bronnen buiten traditionele beveiligingslogboeken Onderzoek verrijken met behulp van assetinventaris, zoals Microsoft Entra ID objecten en Azure resources. Analisten kunnen KQL gebruiken om identiteits- en resourceassetgegevens op te vragen, zoals Microsoft Entra ID gebruikers, apps, groepen of Azure Resources-inventarissen, om logboeken te correleren voor een bredere context die een aanvulling vormt op bestaande beveiligingsgegevens.