KQL e o data lake Microsoft Sentinel

Com Microsoft Sentinel data lake, pode armazenar e analisar registos de alto volume e de baixa fidelidade, como dados DNS ou firewall, inventários de ativos e registos históricos durante um máximo de 12 anos. Uma vez que o armazenamento e a computação estão desacoplados, pode consultar a mesma cópia de dados com múltiplas ferramentas, sem a mover ou duplicar.

Pode explorar dados no data lake com Linguagem de Pesquisa Kusto (KQL) e Jupyter Notebooks, para suportar uma vasta gama de cenários, desde investigação e investigação de ameaças até melhoramento e machine learning.

Este artigo apresenta os principais conceitos e cenários de exploração do data lake, destaca casos de utilização comuns e mostra como interagir com os seus dados com ferramentas familiares.

Consultas interativas KQL

Utilize Linguagem de Pesquisa Kusto (KQL) para executar consultas interativas diretamente no data lake em várias áreas de trabalho.

Com o KQL, os analistas podem:

  • Investigar e responder com dados históricos: utilize dados de longo prazo no data lake para recolher provas forenses, investigar um incidente, detetar padrões e responder a incidentes.
  • Melhorar as investigações com registos de elevado volume: tire partido de dados ruidosos ou de baixa fidelidade armazenados no data lake para adicionar contexto e profundidade às investigações de segurança.
  • Correlacionar dados de recursos e registos no data lake: consultar inventários de recursos e registos de identidade para ligar a atividade do utilizador aos recursos e descobrir um ataque mais amplo.

Utilize consultas KQL em Microsoft Sentinel>Data lake exploration no portal do Defender para executar consultas KQL interativas ad hoc diretamente em dados de longo prazo. A exploração do Data Lake está disponível após a conclusão do processo de integração . As consultas KQL são ideais para analistas do SOC que investigam incidentes em que os dados podem já não residir no escalão de análise. As consultas permitem a análise forense através de consultas familiares sem reescrever código. Para começar a utilizar as consultas KQL, veja Data lake exploration - KQL queries (Exploração do data lake – consultas KQL).

Tarefas KQL

As tarefas KQL são consultas KQL assíncronas únicas ou agendadas em dados no data lake Microsoft Sentinel. As tarefas são úteis para cenários de investigação e análise, por exemplo;

  • Consultas únicas de execução prolongada para investigações de incidentes e resposta a incidentes (IR)
  • Tarefas de agregação de dados que suportam fluxos de trabalho de melhoramento com registos de baixa fidelidade
  • Análises de correspondência de informações sobre ameaças históricas (TI) para análise retrospetiva
  • Análises de deteção de anomalias que identificam padrões invulgares em várias tabelas
  • Promova dados do data lake para o escalão de análise para permitir a investigação de incidentes ou a correlação de registos.

Execute tarefas KQL únicas no data lake para promover dados históricos específicos da camada do data lake para a camada de análise ou crie tabelas de resumo personalizadas na camada do data lake. A promoção de dados é útil para a análise da causa raiz ou a deteção de dia zero ao investigar incidentes que vão além da janela da camada de análise. Submeta uma tarefa agendada no data lake para automatizar consultas periódicas para detetar anomalias ou criar linhas de base com dados históricos. Os caçadores de ameaças podem utilizá-lo para monitorizar padrões invulgares ao longo do tempo e alimentar os resultados em deteções ou dashboards. Para obter mais informações, veja Create jobs in the Microsoft Sentinel data lake and Manage jobs in the Microsoft Sentinel data lake (Criar tarefas no data lake do Microsoft Sentinel e Gerir tarefas no data lake do Microsoft Sentinel).

Visualizar dados no Microsoft Sentinel data lake com Livros

Pode utilizar Microsoft Sentinel livros para visualizar e monitorizar dados no data lake Microsoft Sentinel. Ao selecionar Sentinel data lake como a origem de dados num livro, pode executar consultas KQL diretamente no data lake e compor os resultados como tabelas e gráficos interativos. Isto permite-lhe criar dashboards e relatórios que tiram partido da telemetria de longo prazo e de elevado volume armazenada no data lake, tornando-a ideal para a investigação avançada de ameaças, análise de tendências e relatórios executivos. Para obter mais informações sobre como criar livros com Sentinel data lake, veja Visualizar dados no Microsoft Sentinel data lake com Livros.

Cenários de exploração

Os seguintes cenários ilustram como as consultas KQL no Microsoft Sentinel data lake podem ser utilizadas para melhorar as operações de segurança:

Cenário Detalhes Exemplos:
Investigar incidentes de segurança com dados históricos de longo prazo Muitas vezes, as equipas de segurança têm de ir além da janela de retenção predefinida para descobrir o âmbito completo de um incidente. Um analista SOC de Camada 3 que investiga um ataque de força bruta utiliza consultas KQL no data lake para consultar dados com mais de 90 dias. Depois de identificar atividades suspeitas de há mais de um ano, o analista promove as conclusões para o escalão de análise para uma análise mais profunda e correlação de incidentes.
Detetar anomalias e criar linhas de base comportamentais ao longo do tempo Os engenheiros de deteção dependem de dados históricos para estabelecer linhas de base e identificar padrões que possam indicar comportamentos maliciosos. Um engenheiro de deteção analisa os registos de início de sessão ao longo de vários meses para detetar picos de atividade. Ao agendar uma tarefa KQL no data lake, criam uma linha base de série temporal e descobrem um padrão consistente com o abuso de credenciais.
Melhorar as investigações com registos de alto volume e de baixa fidelidade Alguns registos são demasiado ruidosos ou volumosos para o escalão de análise, mas ainda são valiosos para análise contextual. Os analistas do SOC utilizam o KQL para consultar registos de firewall e de rede armazenados apenas no data lake. Estes registos, embora não estejam na camada de análise, ajudam a validar alertas e a fornecer provas de apoio durante as investigações.
Responder a ameaças emergentes com camadas de dados flexíveis Quando surgem novas informações sobre ameaças, os analistas precisam de aceder rapidamente e agir sobre dados históricos. Um analista de informações sobre ameaças reage a um relatório de análise de ameaças recentemente publicado ao executar as consultas KQL sugeridas no data lake. Após a deteção da atividade relevante de há vários meses, o registo necessário é promovido para o escalão de análise. Para ativar a deteção em tempo real para futuras deteções, as políticas de arrumo podem ser ajustadas nas tabelas relevantes para espelhar os registos mais recentes na camada de análise.
Explorar dados de recursos de origens para além dos registos de segurança tradicionais Melhore a investigação com o inventário de recursos, como objetos Microsoft Entra ID e recursos de Azure. Os analistas podem utilizar o KQL para consultar informações de identidade e recursos, como utilizadores Microsoft Entra ID, aplicações, grupos ou inventários de Recursos Azure, para correlacionar registos para um contexto mais amplo que complemente os dados de segurança existentes.