Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
L’ingestion des données est le processus de chargement des données d’une ou plusieurs sources dans une table dans Azure Data Explorer. Après l’ingestion, les données sont disponibles pour la requête. Dans cet article, vous apprendrez comment obtenir des données d’Amazon S3 dans un tableau nouveau ou existant.
Pour plus d’informations sur Amazon S3, consultez Qu’est-ce qu’Amazon S3 ?
Pour obtenir des informations générales sur l’ingestion des données, consultez Azure Data Explorer vue d’ensemble de l’ingestion des données.
Prérequis
- Une compte Microsoft ou une identité d’utilisateur Microsoft Entra. Vous n'avez pas besoin d'un abonnement Azure.
- Connectez-vous à l’interface utilisateur web Azure Data Explorer.
- Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
Obtenir des données
Sélectionnez Interroger dans le menu de gauche.
Cliquez avec le bouton droit sur la base de données dans laquelle vous souhaitez ingérer les données, puis sélectionnez Obtenir des données.
Source
Dans la fenêtre Obtenir des données, l’onglet Source est sélectionné.
Sélectionnez la source de données dans la liste disponible. Dans cet exemple, ingérer des données à partir d’Amazon S3.
Configurer
Sélectionnez une base de données et une table cibles. Pour ingérer des données dans une nouvelle table, sélectionnez + Nouvelle table et entrez un nom de table.
Remarque
Les noms de tables peuvent comporter jusqu’à 1 024 caractères, y compris des espaces, des caractères alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.
Dans le champ URI, collez le chaîne de connexion pour un seul compartiment ou un objet individuel au format suivant.
Bucket :
https://BucketName.s3.RegionName.amazonaws.comObjet : ObjectName
;AwsCredentials=AwsAccessID,AwsSecretKeySi vous le souhaitez, vous pouvez appliquer des filtres de compartiments pour filtrer les données en fonction d’une extension de fichier spécifique.
Remarque
Le processus d'ingestion prend en charge une taille de fichier maximale de 6 Go. Nous vous recommandons d’ingérer des fichiers entre 100 Mo et 1 Go.
Cliquez sur Suivant.
Inspecter
L’onglet Inspecter s’ouvre avec un aperçu des données.
Pour terminer le processus d’ingestion, sélectionnez Terminer.
Si vous le souhaitez :
- Sélectionnez Visionneuse de commandes pour afficher et copier les commandes automatiques générées à partir de vos entrées.
- Utilisez la liste déroulante Fichier de définition de schéma pour modifier le fichier à partir duquel le schéma est déduit.
- Modifiez le format de données déduit automatiquement en sélectionnant le format souhaité dans la liste déroulante. Consultez les formats Data pris en charge par Azure Data Explorer pour l’ingestion.
- Modifier les colonnes.
- Explorez les options avancées basées sur le type de données.
Modifier les colonnes
Remarque
- Pour les formats tabulaires (CSV, TSV, PSV), vous ne pouvez pas mapper deux fois une même colonne. Pour effectuer un mappage à une colonne existante, commencez par supprimer la nouvelle colonne.
- Vous ne pouvez pas changer un type de colonne existant. Si vous essayez de mapper à une colonne avec un format différent, vous risquez de vous retrouver avec des colonnes vides.
Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :
- Le type de table est nouveau ou existant
- Le type de mappage est nouveau ou existant
| Type de table | Type de mappage | Ajustements disponibles |
|---|---|---|
| Nouvelle table | Nouveau mappage | Renommer une colonne, modifier le type de données, modifier la source de données, transformation de mappage, ajouter une colonne, supprimer une colonne |
| Table existante | Nouveau mappage | Ajoutez une colonne (vous pourrez ensuite modifier le type de données, la renommer ou la mettre à jour) |
| Table existante | Cartographie existante | Aucune |
Mappage des transformations
Certains mappages de format de données (Parquet, JSON et Avro) prennent en charge des transformations simples au moment de l’ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Modifier les colonnes.
Les transformations de mappage peuvent être effectuées sur une colonne de type string ou datetime, avec la source dont le type de données est int ou long. Les transformations de mappage prises en charge sont :
- DateHeureDepuisSecondesUnix
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Options avancées basées sur le type de données
Tabulaire (CSV, TSV, PSV) :
Si vous ingérez des formats tabulaires dans une table existante, vous pouvez sélectionner la liste déroulante de mappage de table et sélectionner Utiliser le mappage existant. Les données tabulaires n’incluent pas nécessairement les noms de colonnes utilisés pour mapper les données sources aux colonnes existantes. Quand cette option est activée, le mappage est effectué dans l’ordre et le schéma de la table reste le même.
Sinon, créez un mappage.
Pour utiliser la première ligne en tant que noms de colonnes, sélectionnez Premier en-tête de ligne.
JSON :
- Pour déterminer la division de colonnes des données JSON, sélectionnez niveaux imbriqués, de 1 à 100.
Résumé
Dans la fenêtre Préparation des données, les trois étapes montrent des coches vertes lorsque l’ingestion des données est terminée avec succès. Vous pouvez afficher les commandes que chaque étape utilise, ou sélectionner une carte pour interroger, visualiser ou supprimer les données ingérées.
