Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A ingestão de dados é o processo de carregamento de dados de uma ou mais fontes em uma tabela em Azure Data Explorer. Após a ingestão, os dados estão disponíveis para consulta. Neste artigo, você aprenderá a obter dados do Amazon S3 em uma tabela nova ou existente.
Para obter mais informações sobre o Amazon S3, confira o que é o Amazon S3?
Para obter informações gerais sobre a ingestão de dados, consulte Azure Data Explorer visão geral da ingestão de dados.
Pré-requisitos
- Um conta Microsoft ou uma identidade de usuário Microsoft Entra. Você não precisa de uma assinatura Azure.
- Entre na interface do usuário da Web Azure Data Explorer.
- Um Azure Data Explorer cluster e um banco de dados. Criar um cluster e um banco de dados.
Obter dados
Selecione Consultar no menu à esquerda.
Clique com o botão direito do mouse no banco de dados em que deseja ingerir os dados e selecione Obter dados.
Origem
Na janela Obter dados, a guia Origem será selecionada.
Selecione a fonte de dados na lista disponível. Neste exemplo, ingerir dados do Amazon S3.
Configurar
Selecione um banco de dados e uma tabela de destino. Para ingerir dados em uma nova tabela, selecione + Nova tabela e insira um nome de tabela.
Observação
Os nomes de tabela podem ter até 1.024 caracteres, incluindo espaços, caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.
No campo URI, cole o cadeia de conexão para um único bucket ou um objeto individual no formato a seguir.
Bucket:
https://BucketName.s3.RegionName.amazonaws.comObjeto: ObjectName
;AwsCredentials=AwsAccessID,AwsSecretKeyOpcionalmente, você pode aplicar filtros de bucket para filtrar os dados de acordo com uma extensão de arquivo específica.
Observação
A ingestão dá suporte a um tamanho máximo de arquivo de 6 GB. A recomendação é ingerir arquivos entre 100 MB e 1 GB.
Selecione Avançar.
Inspecionar
A guia "Inspecionar" abre com uma visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Se desejar:
- Selecione Visualizador de comando para ver e copiar os comandos automáticos gerados com base nas entradas.
- Use o menu suspenso Arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.
- Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Consulte os formatos Data compatíveis com Azure Data Explorer para ingestão.
- Editar colunas.
- Explore Opções avançadas com base no tipo de dados.
Editar colunas
Observação
- Para formatos tabulares (CSV, TSV, PSV), você não pode mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, isso pode resultar em colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- O tipo de tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
| Tipo de tabela | Tipo de mapeamento | Ajustes disponíveis |
|---|---|---|
| Nova tabela | Novo mapeamento | Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna |
| Tabela existente | Novo mapeamento | Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar) |
| Tabela existente | Mapeamento existente | nenhum |
Transformações de mapeamento
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações de tempo de ingestão simples. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.
As transformações de mapeamento podem ser executadas em uma coluna de cadeia de caracteres ou datetime, tendo a origem com tipo de dados int ou long. As transformações de mapeamento com suporte são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabela (CSV, TSV, PSV):
Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar a lista suspensa de mapeamento de tabela e selecionar Usar mapeamento existente. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem, e o esquema da tabela permanece o mesmo.
Caso contrário, crie um novo mapeamento.
Para usar a primeira linha como nomes de coluna, selecione Primeira linha como cabeçalho.
JSON:
- Para determinar a divisão em colunas dos dados JSON, selecione níveis aninhados, de 1 a 100.
Resumo
Na janela Preparação de dados , todas as três etapas mostram marcas de verificação verdes quando a ingestão de dados é concluída com êxito. Você pode exibir os comandos que cada etapa usa ou selecionar um cartão para consultar, visualizar ou remover os dados ingeridos.
