Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
La ingesta de datos es el proceso de cargar datos de uno o varios orígenes en una tabla en Azure Data Explorer. Después de la ingesta, los datos están disponibles para la consulta. En este artículo, aprenderá a obtener datos de Amazon S3 en una tabla nueva o existente.
Para obtener más información sobre Amazon S3, consulte ¿Qué es Amazon S3?
Para obtener información general sobre la ingesta de datos, consulte Azure Data Explorer introducción a la ingesta de datos.
Requisitos previos
- Una cuenta Microsoft o una identidad de usuario de Microsoft Entra. No necesita una suscripción de Azure.
- Inicie sesión en la interfaz de usuario web de Azure Data Explorer.
- Un clúster y una base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
Obtener datos
Seleccione Consulta en el menú de la izquierda.
Haga clic con el botón derecho en la base de datos donde desea ingerir los datos y, a continuación, seleccione Obtener datos.
Source
En la ventana Obtener datos, se selecciona la pestaña Origen.
Seleccione el origen de datos de la lista disponible. En este ejemplo, ingiere datos de Amazon S3.
Configurar
Seleccione una base de datos y una tabla de destino. Para ingerir datos en una nueva tabla, seleccione + Nueva tabla y escriba un nombre de tabla.
Nota:
Los nombres de tabla pueden tener hasta 1024 caracteres, incluidos espacios, caracteres alfanuméricos, guiones y caracteres de subrayado. No se admiten caracteres especiales.
En el campo URI, pegue el cadena de conexión para un único cubo o un objeto individual en el formato siguiente.
Bucket:
https://BucketName.s3.RegionName.amazonaws.comObjeto: ObjectName
;AwsCredentials=AwsAccessID,AwsSecretKeyOpcionalmente, puede aplicar filtros de cubo para filtrar datos según una extensión de archivo específica.
Nota:
La ingesta admite un tamaño de archivo máximo de 6 GB. Se recomienda ingerir archivos de entre 100 MB y 1 GB.
Seleccione Siguiente.
Inspeccionar
La pestaña de inspección se abre con una vista previa de los datos.
Para completar el proceso de ingesta, seleccione Finalizar.
Opcionalmente:
- Seleccione Visor de comandos para ver y copiar los comandos automáticos generados a partir de los valores que haya introducido.
- Use la lista desplegable Archivo de definición de esquema para cambiar el archivo del que se deduce el esquema.
- Cambie el formato de datos inferido automáticamente seleccionando el formato deseado en la lista desplegable. Vea Formatos de datos admitidos por Azure Data Explorer para la ingestión.
- Editar columnas.
- Explore las Opciones avanzadas basadas en el tipo de datos.
Editar columnas
Nota:
- En el caso de formatos tabulares (CSV, TSV, PSV), no se puede asignar una columna dos veces. Para asignar a una columna existente, elimine primero la nueva columna.
- No se puede cambiar un tipo de columna existente. Si intentas asignar a una columna que tiene un formato diferente, podrías acabar con columnas vacías.
Los cambios que pueda realizar a una tabla dependerán de los siguientes parámetros:
- El tipo de tabla puede ser nuevo o existente.
- El tipo de mapeo es nuevo o existente
| Tipo de tabla. | Tipo de mapeo | Ajustes disponibles |
|---|---|---|
| Tabla nueva | Nuevo mapeo | Cambiar nombre de columna, cambiar tipo de datos, cambiar origen de datos, la transformación de mapeo, añadir columna, eliminar columna |
| Tabla existente | Nuevo mapa | Adición de columna (en la que puede cambiar el tipo de datos, cambiar el nombre y actualizar) |
| Tabla existente | Mapeo existente | ninguno |
Mapeo de transformaciones
Algunas de las asignaciones de formato de datos (Parquet, JSON y Avro) admiten transformaciones sencillas en el momento de la ingesta. Para aplicar transformaciones de mapeo, cree o actualice una columna en la ventana Editar columnas.
La asignación de transformaciones se puede realizar en una columna de tipo string o de fecha y hora, mientras que el origen tiene un tipo de datos int o long. Las transformaciones de asignación admitidas son:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opciones avanzadas basadas en el tipo de datos
Tabular (CSV, TSV, PSV):
Si va a ingerir formatos tabulares en una tabla existente, puede seleccionar la lista desplegable de asignación de tablas y elegir Usar asignación existente. Los datos tabulares no incluyen necesariamente los nombres de columna que se usan para asignar datos de origen a las columnas existentes. Cuando se activa esta opción, la asignación se realiza según el orden y el esquema de la tabla sigue siendo el mismo.
De lo contrario, cree una nueva asignación.
Para usar la primera fila como nombres de columna, seleccione Primer encabezado de fila.
JSON:
- Para determinar la división de columnas de los datos JSON, seleccione Niveles anidados, de 1 a 100.
Resumen
En la ventana Preparación de datos, los tres pasos muestran marcas de verificación verdes cuando la ingesta de datos finaliza correctamente. Puede ver los comandos que usa cada paso o seleccionar una tarjeta para consultar, visualizar o quitar los datos ingeridos.
