Como ingerir dados históricos em Azure Data Explorer

O LightIngest é útil para carregar dados históricos de um sistema de armazenamento existente para Azure Data Explorer. Embora você possa criar seu próprio comando usando a lista de argumentos de linha de comando, este artigo mostra como gerar automaticamente esse comando por meio de um assistente de ingestão. Além de criar o comando, você pode usar esse processo para criar uma nova tabela e criar um mapeamento de esquema. Essa ferramenta infere o mapeamento de esquema do seu conjunto de dados.

Destino

1. Na interface do usuário da Web Azure Data Explorer, selecione Query no menu à esquerda.

2. Clique com o botão direito do mouse no banco de dados no qual você deseja ingerir os dados e selecione LightIngest.

   

   A janela Ingestão de dados é aberta com a guia Destino selecionada. Os campos Cluster e Banco de dados são populados automaticamente.

3. Selecione uma tabela de destino. Para ingerir dados em uma nova tabela, selecione Nova tabela e, em seguida, insira um nome de tabela.

   Observação

   Os nomes de tabela podem ter até 1.024 caracteres, incluindo espaços, caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.

   

4. Selecione Avançar: Fonte.

Fonte

1. Em Selecionar origem, selecione Adicionar URL ou Selecionar contêiner.

   • Ao adicionar uma URL, em Link à origem, especifique a chave da conta ou a URL SAS para um contêiner. Você pode criar a URL SAS manualmente ou automaticamente.

   • Ao selecionar um contêiner na sua conta de armazenamento, selecione sua assinatura de armazenamento, conta de armazenamento e contêiner nos menus suspensos.

     

   Observação

   A ingestão dá suporte a um tamanho máximo de arquivo de 6 GB. A recomendação é ingerir arquivos entre 100 MB e 1 GB.

2. Selecione Configurações avançadas para definir configurações adicionais para o processo de ingestão usando LightIngest.

   

3. No painel Configuração avançada, defina as configurações do LightIngest de acordo com a tabela a seguir.

   

   Propriedade	Descrição
   Padrão de tempo de criação	Especifique para substituir a propriedade de tempo de ingestão da extensão criada por um padrão, por exemplo, para aplicar uma data com base na estrutura de pastas do contêiner. Confira também Padrão de tempo de criação.
   Padrão de nome do blob	Especifique o padrão usado para identificar os arquivos a serem ingeridos. Faça a ingestão de todos os arquivos que correspondam ao padrão de nome de blob no contêiner determinado. Dá suporte a curingas. Coloque o padrão entre aspas duplas.
   Tag	Uma marca atribuída aos dados ingeridos. A tag pode ser qualquer string.
   Limitar a quantidade de arquivos	Especifique o número de arquivos a serem ingeridos. Ingere os primeiros n arquivos que correspondem ao padrão de nomenclatura de blobs, até o número especificado.
   Não espere a conclusão da ingestão	Se definido, colocará os blobs em fila para ingestão sem monitorar o processo de ingestão. Se não estiver definido, o LightIngest continuará sondando o status de ingestão até que a ingestão seja concluída.
   Exibir apenas os itens selecionados	Liste os arquivos no contêiner, mas não os processe.

4. Selecione Concluído para voltar à aba Origem.

   1. Opcionalmente, selecione Filtros de arquivo para filtrar os dados para ingerir apenas arquivos em um caminho de pasta específico ou com uma extensão de arquivo específica.

      

      Por padrão, um dos arquivos no contêiner é selecionado aleatoriamente e usado para gerar o esquema para a tabela.

   2. Opcionalmente, em Esquema definindo o arquivo, especifique o arquivo a ser usado.

5. Selecione Avançar: esquema para ver e editar a configuração da coluna da tabela.

Esquema

A aba de esquema fornece uma prévia dos dados.

Para gerar o comando LightIngest, selecione Avançar: Iniciar Ingestão.

Opcionalmente, você pode:

• Altere o formato de dados inferido automaticamente selecionando o formato desejado no menu suspenso.
• Altere o nome do mapeamento inferido automaticamente. Você pode usar caracteres alfanuméricos e sublinhados. Não há suporte para espaços, caracteres especiais nem hifens.
• Ao usar uma tabela existente, você pode Manter o esquema da tabela atual, se o esquema da tabela corresponder ao formato selecionado.
• Selecione Visualizador de comando para ver e copiar os comandos automáticos gerados com base nas entradas.
• Editar colunas. Em Visualização parcial de dados, selecione os menus suspensos das colunas para alterar vários aspectos da tabela.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• O tipo de mapeamento é novo ou existente

Ingestão

1. Quando a tabela, o mapeamento e o comando LightIngest mostrarem marcas de seleção verdes, selecione o ícone de cópia na parte superior direita da caixa de comando gerado para copiar o comando LightIngest gerado.

   

   Observação

   Se necessário, você pode baixar a ferramenta LightIngest selecionando Baixar LightIngest.

2. Para concluir o processo de assimilação, você deve executar LightIngest usando o comando copiado.

Etapa 1: Preparar para o reparticionamento

1. Ajuste a política de retenção para manter dados antigos. No exemplo a seguir, defina a política de retenção da tabela MyTable como 10 anos.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Ajuste a política de cache para que todos os dados estejam no cache quente para o reparticionamento, pois somente os dados quentes podem ser reparticionados após a ingestão. No exemplo a seguir, defina o cache da tabela MyTable como 10 anos.

   .alter table MyTable policy caching hot = 3650d
   

   Importante

   Aumentar a política de cache pode utilizar consideravelmente mais cache quente do que em operações normais e pode resultar em um custo maior.

Etapa 2: Iniciar o reparticionamento

1. Crie uma política de particionamento que particione os dados pela coluna chamada Timestamp. No exemplo a seguir, defina a política de particionamento da tabela MyTable como partição pela coluna chamada Timestamp.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Para obter informações sobre as propriedades da política de particionamento, consulte propriedades de partição. Para assimilação histórica, a forma como você define as seguintes propriedades é importante:

   • Defina a propriedade EffectiveDateTime como uma data anterior ao início da ingestão para disparar o reparticionamento.
   • Defina o RangeSize como um dia, para que os dados sejam distribuídos em buckets de um dia. No entanto, defina esse valor para se alinhar aos seus dados. Por exemplo, se você tiver menos de vários GBs de dados por dia, considere definir um valor maior.
   • Defina o OverrideCreationTime como true para que, depois de reparticionar os dados em buckets de dia, as extensões sejam marcadas com esse dia como a hora de criação.

2. Defina uma política de mesclagem para permitir a mesclagem de todas as extensões, incluindo extensões com mais de 14 dias. Defina essa política porque o processo de reparticionamento cria extensões anteriores a 14 dias, o que, por padrão, o processo de mesclagem exclui.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Monitore o progresso do reparticionamento usando o comando .show estatísticas de particionamento de extensões de banco de dados. Nos resultados retornados, procure a tabela que você está reparticionando e monitore a coluna PartitionedRowPercentage . Quando o valor da coluna PartitionedRowPercentage é 100, o reparticionamento está concluído.

Etapa 3: Limpar após o reparticionamento

Quando o reparticionamento for concluído, remova as políticas definidas nas etapas anteriores.

1. Remova a política de particionamento.

   .delete table MyTable policy partitioning
   

2. Remova a política de mesclagem.

   .delete table MyTable policy merge
   

3. Remova ou defina a política de cache.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Remova ou defina a política de retenção.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Conteúdo relacionado

• Consultar dados no Azure Data Explorer