Criar tarefas KQL no Microsoft Sentinel data lake

As tarefas KQL são consultas KQL únicas ou agendadas em dados no Microsoft Sentinel data lake e tabelas federadas. Utilize tarefas para cenários de investigação e análise, tais como:

• Consultas únicas de execução prolongada para investigações de incidentes e resposta a incidentes (IR)
• Tarefas de agregação de dados que suportam fluxos de trabalho de melhoramento com registos de baixa fidelidade
• Análises de correspondência de informações sobre ameaças históricas (TI) para análise retrospetiva
• Análises de deteção de anomalias que identificam padrões invulgares em várias tabelas

As tarefas KQL são especialmente eficazes quando as consultas utilizam associações ou uniões em diferentes conjuntos de dados.

Utilize tarefas para promover dados da camada do data lake para a camada de análise. Uma vez na camada de análise, utilize o editor de KQL de investigação avançada para consultar os dados. A promoção de dados para o escalão de análise tem as seguintes vantagens:

• Combine dados atuais e históricos na camada de análise ou a partir de tabelas federadas para executar modelos avançados de análise e machine learning nos seus dados.
• Reduza os custos das consultas ao executar consultas no escalão de análise.
• Combinar dados de várias áreas de trabalho para uma única área de trabalho na camada de análise.
• Combine Microsoft Entra ID, Microsoft 365 e Microsoft Resource Graph dados no escalão de análise para executar análises avançadas em origens de dados.

Pode promover dados para uma nova tabela ou acrescentar os resultados a uma tabela existente na camada de análise. Ao criar uma nova tabela, o nome da tabela é sufixo com _KQL_CL para indicar que a tabela foi criada por uma tarefa KQL.

Opcionalmente, pode escrever a saída de uma tarefa KQL noutra tabela no data lake tier para acelerar a investigação ou utilizar os dados melhorados para a investigação de ameaças. Ao criar uma nova tabela, o nome da tabela é sufixo com _KQL se escrever na área de trabalho Tabelas do sistema.

Pré-requisitos

Para criar e gerir tarefas KQL no Microsoft Sentinel data lake, precisa dos seguintes pré-requisitos.

Integrar no data lake

Para criar e gerir tarefas KQL no Microsoft Sentinel data lake, primeiro tem de integrar no data lake. Para obter mais informações sobre a inclusão no data lake, veja Integrar no data lake do Microsoft Sentinel.

Permissões

Microsoft Entra ID funções fornecem acesso amplo a todas as áreas de trabalho no data lake. Para ler tabelas em todas as áreas de trabalho, escrever na camada de análise e agendar tarefas com consultas KQL, tem de ter uma das funções de Microsoft Entra ID suportadas. Para obter mais informações sobre funções e permissões, veja Microsoft Sentinel funções e permissões do data lake.

Para criar novas tabelas personalizadas no escalão de análise, atribua a função Contribuidor do Log Analytics na área de trabalho do Log Analytics à identidade gerida do data lake.

Para atribuir a função, siga estes passos:

1. No portal do Azure, aceda à área de trabalho do Log Analytics à qual pretende atribuir a função.
2. Selecione Controlo de acesso (IAM) no painel de navegação esquerdo.
3. Selecione Adicionar atribuição de função.
4. Na tabela Função , selecione *Contribuidor do Log Analytics e, em seguida, selecione Seguinte.
5. Selecione Identidade gerida e, em seguida, selecione Selecionar membros.
6. A identidade gerida do data lake é uma identidade gerida atribuída pelo sistema com o nome msg-resources-<guid>. Selecione a identidade gerida e, em seguida, selecione Selecionar.
7. Selecione Rever e atribuir.

Para obter mais informações sobre como atribuir funções a identidades geridas, veja Atribuir funções de Azure com o portal do Azure.

Criar uma tarefa

Pode criar tarefas para execução com base numa agenda ou numa única vez. Quando cria uma tarefa, especifica a área de trabalho de destino e a tabela para os resultados. Pode escrever os resultados numa nova tabela ou anexá-los a uma tabela existente na camada de data lake ou análise. Não pode escrever os resultados em tabelas federadas. Pode criar uma nova tarefa KQL ou criar uma tarefa a partir de um modelo que contenha as definições da consulta e da tarefa. Para obter mais informações, veja Criar uma tarefa KQL a partir de um modelo.

1. Inicie o processo de criação de tarefas a partir do editor de consultas KQL ou a partir da página de gestão de tarefas.

   1. Para criar uma tarefa a partir do editor de consultas KQL, selecione o botão Criar tarefa no canto superior direito do editor de consultas.

   2. Para criar uma tarefa a partir da página de gestão de tarefas, selecione Microsoft Sentinel>Data lake exploration>Jobs e, em seguida, selecione o botão Criar tarefa.

2. Introduza um Nome da tarefa. O nome da tarefa tem de ser exclusivo para o inquilino. Os nomes das tarefas podem conter até 256 carateres. Não pode utilizar um # ou um - num nome de tarefa.

3. Introduza uma Descrição da Tarefa que forneça o contexto e o objetivo da tarefa.

4. Na lista pendente Selecionar área de trabalho , selecione a área de trabalho de destino. Esta área de trabalho pode ser tabelas de sistema ou uma área de trabalho Sentinel onde pretende escrever os resultados da consulta.

5. Selecione a tabela de destino:

   1. Para acrescentar a uma tabela existente, selecione Adicionar a uma tabela existente e selecione o nome da tabela na lista pendente. Ao adicionar a uma tabela existente, os resultados da consulta têm de corresponder ao esquema da tabela existente.

6. Selecione Avançar.

7. Reveja ou escreva a consulta no painel Preparar a consulta . Verifique se o seletor de hora está definido para o intervalo de tempo necessário para a tarefa se o intervalo de datas não estiver especificado na consulta.

8. Selecione as áreas de trabalho para executar a consulta no menu pendente Áreas de trabalho selecionadas . Estas áreas de trabalho são as áreas de trabalho de origem cujas tabelas pretende consultar. As áreas de trabalho que selecionar determinam as tabelas disponíveis para consulta. As áreas de trabalho selecionadas aplicam-se a todos os separadores de consulta no editor de consultas. Ao utilizar várias áreas de trabalho, o union() operador é aplicado por predefinição a tabelas com o mesmo nome e esquema de diferentes áreas de trabalho. Utilize o workspace() operador para consultar uma tabela a partir de uma área de trabalho específica, por exemplo workspace("MyWorkspace").AuditLogs.

   Observação

   Se estiver a escrever numa tabela existente, a consulta tem de devolver resultados com um esquema que corresponda ao esquema da tabela de destino. Se a consulta não devolver resultados com o esquema correto, a tarefa falhará quando é executada.

   A escrita de tarefas KQL em Tabelas de sistema está atualmente em pré-visualização.

9. Selecione Avançar.

   

   Na página Agendar a tarefa de consulta , selecione se pretende executar a tarefa uma vez ou com base numa agenda. Se selecionar Uma vez, a tarefa é executada assim que a definição da tarefa estiver concluída. Se selecionar Agendar, pode especificar uma data e hora para a tarefa ser executada ou executar a tarefa com base numa agenda periódica.

10. Selecione Uma vez ou Tarefa agendada.

    Observação

    Editar uma tarefa única aciona imediatamente a respetiva execução.

11. Se tiver selecionado Agendar, introduza os seguintes detalhes:

    1. Selecione a opção Repetir frequência no menu pendente. Pode selecionar Por minuto, Hora a hora, Diariamente, Semanalmente ou Mensalmente.
    2. Defina Repetir cada valor para a frequência com que pretende que a tarefa seja executada relativamente à frequência selecionada.
    3. Em Definir agenda, selecione uma data De e introduza uma hora. A hora de início da tarefa no campo De tem de ser, pelo menos, 30 minutos após a criação da tarefa. A tarefa é executada a partir desta data e hora de acordo com a frequência selecionada na lista pendente Executar a cada .
    4. Selecione A data e introduza uma hora para especificar quando a agenda de tarefas é concluída. Se quiser que a agenda continue indefinidamente, selecione Definir tarefa para ser executada indefinidamente.

    As tarefas de e para as horas são definidas para a região do utilizador.

    Observação

    Se agendar uma tarefa para ser executada com uma frequência elevada, por exemplo, a cada 30 minutos, tem de ter em conta o tempo necessário para que os dados fiquem disponíveis no data lake. Normalmente, existe uma latência de até 15 minutos antes de os dados recentemente ingeridos estarem disponíveis para consulta.

12. Selecione Seguinte para rever os detalhes da tarefa.

    

13. Reveja os detalhes da tarefa e selecione Submeter para criar a tarefa. Se a tarefa for uma tarefa única, é executada depois de selecionar Submeter. Se a tarefa estiver agendada, é adicionada à lista de tarefas na página Tarefas e executada de acordo com os dados de início e a hora.

14. A tarefa está agendada e é apresentada a página seguinte. Pode ver a tarefa ao selecionar a ligação.

Criar uma tarefa a partir de um modelo

Pode criar uma tarefa KQL a partir de um modelo de tarefa predefinido. Os modelos de tarefas contêm a consulta KQL e as definições da tarefa, como a área de trabalho de destino e a tabela, agenda e descrição. Pode criar os seus próprios modelos de trabalho ou utilizar modelos incorporados fornecidos pela Microsoft.

Para criar uma tarefa a partir de um modelo, siga estes passos:

1. Na página Tarefas ou no editor de consultas KQL, selecione Criar tarefa e, em seguida, selecione Criar a partir do modelo.

2. Na página Modelos de tarefas , selecione o modelo que pretende utilizar na lista de modelos disponíveis.

3. Reveja a descrição e a consulta KQL do modelo.

4. Selecione Criar tarefa a partir do modelo.

   

5. O assistente de criação de tarefas é aberto com a página Criar uma nova tarefa KQL . Os detalhes da tarefa foram pré-preenchidos a partir do modelo, exceto para a área de trabalho de destino.

6. Selecione a área de trabalho de destino na lista pendente Selecionar área de trabalho .

7. Reveja e modifique os detalhes da tarefa conforme necessário e, em seguida, selecione Seguinte para prosseguir com o assistente de criação de tarefas.

8. Os passos restantes são os mesmos que criar uma nova tarefa. Os campos são pré-preenchidos a partir do modelo e podem ser modificados conforme necessário. Para obter mais informações, veja Criar uma tarefa.

Estão disponíveis os seguintes modelos:

Considerações e limitações

Quando criar tarefas no data lake Microsoft Sentinel, considere as seguintes limitações e melhores práticas:

Camada de dados

As tarefas KQL podem escrever dados na camada Analytics ou na camada data lake, consoante a camada da tabela de destino. Ao criar uma nova tabela através do assistente de criação de tarefas, pode selecionar tabelas de sistema como a área de trabalho de destino para escrever dados diretamente no data lake. As tabelas criadas desta forma são criadas e armazenadas diretamente na camada do data lake e são automaticamente sufixas com _KQL.

KQL

• Todos os operadores e funções KQL são suportados, exceto os seguintes:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• Quando utilizar o stored_query_results comando , forneça o intervalo de tempo na consulta KQL. O seletor de tempo acima do editor de consultas não funciona com este comando.

• As funções definidas pelo utilizador não são suportadas.

Tarefas

• Os nomes das tarefas têm de ser exclusivos para o inquilino.
• Os nomes das tarefas podem ter até 256 carateres.
• Os nomes dos trabalhos não podem conter um # ou um -.
• A hora de início da tarefa tem de ser, pelo menos, 30 minutos após a criação ou edição da tarefa.

Latência da ingestão do Data Lake

A camada do data lake armazena dados no armazenamento a frio. Ao contrário das camadas de análise frequente ou quase em tempo real, o armazenamento a frio é otimizado para retenção de longo prazo e eficiência de custos e não fornece acesso imediato aos dados recentemente ingeridos. Quando são adicionadas novas linhas a tabelas existentes no data lake ou em tabelas federadas, existe uma latência típica de até 15 minutos antes de os dados estarem disponíveis para consulta. Contabilize a latência da ingestão quando executa consultas e agenda tarefas KQL ao garantir que as janelas de pesquisa e os horários das tarefas estão configurados para evitar dados que ainda não estão disponíveis.

Para evitar consultar dados que possam ainda não estar disponíveis, inclua um parâmetro de atraso nas consultas ou tarefas KQL. Por exemplo, quando agenda tarefas automatizadas, defina a hora de fim da consulta como now() - delay, em que delay corresponde à latência de preparação de dados típica de 15 minutos. Esta abordagem garante que as consultas apenas visam dados totalmente ingeridos e prontos para análise.

let lookback = 15m;
let delay = 15m;
let endTime = now() - delay;
let startTime = endTime - lookback;
CommonSecurityLog
| where TimeGenerated between (startTime .. endTime)

Esta abordagem é eficaz para tarefas com janelas de pesquisa curtas ou intervalos de execução frequentes.

Considere sobrepor-se ao período de procura com a frequência da tarefa para reduzir o risco de falta de dados atrasados.

Para obter mais informações, veja Lidar com o atraso da ingestão nas regras de análise agendada.

Nomes de colunas

Os nomes das colunas têm de começar com uma letra.

As seguintes colunas padrão não são suportadas para exportação. O processo de ingestão substitui estas colunas na camada de destino:

• TenantId

• _TimeReceived

• Tipo

• SourceSystem

• _ResourceId

• _SubscriptionId

• _ItemId

• _BilledSize

• _IsBillable

• _WorkspaceId

• TimeGenerated é substituído se tiver mais de dois dias. Para preservar a hora do evento original, escreva o carimbo de data/hora de origem numa coluna separada.

Para obter os limites de serviço, veja Microsoft Sentinel data lake service limits (Limites do serviço data lake).

Parâmetros de serviço e limites para tarefas KQL

A tabela seguinte lista os parâmetros de serviço e os limites das tarefas KQL no Microsoft Sentinel data lake.

Para obter sugestões de resolução de problemas e mensagens de erro, veja Resolução de problemas de consultas KQL para o Microsoft Sentinel data lake.

Conteúdo relacionado

• Gerir tarefas no data lake do Microsoft Sentinel
• descrição geral do data lake do Microsoft Sentinel
• Consultas KQL no data lake do Microsoft Sentinel
• Blocos de notas do Jupyter e o data lake do Microsoft Sentinel