Résoudre les erreurs d’ingestion ou les données endommagées

Cet article présente les raisons courantes d’erreurs d’ingestion de données ou de données endommagées lors de l’utilisation d’Azure Data Lake Storage ou de Power Query dans Microsoft Dynamics 365 Insights client - Données.

Erreurs d’ingestion ou données endommagées avec Azure Data Lake Storage

Pendant l’ingestion des données, voici quelques-unes des raisons les plus courantes pour lesquelles un enregistrement peut être considéré comme endommagé :

• Les types de données et les valeurs de champ ne correspondent pas entre le fichier source et le schéma.
• Le nombre de colonnes dans le fichier source ne correspond pas au schéma.
• Les champs contiennent des caractères qui entraînent le décalage des colonnes par rapport au schéma attendu. Par exemple, des guillemets mal mis en forme, des guillemets non mis en forme, des caractères de nouvelle ligne ou des caractères à tabulation.
• Les fichiers de partition sont manquants.
• datetime, dateou datetimeoffset les champs ne suivent pas le format standard.

Le schéma ou le type de données ne correspondent pas

Si les données ne sont pas conformes au schéma, le processus d’ingestion se termine avec des erreurs.

Pour résoudre ce problème, corrigez les données sources ou le schéma et réingérer les données.

Les fichiers de partition sont manquants

• Si le processus d’ingestion réussit sans enregistrements endommagés, mais que vous ne pouvez pas voir de données, modifiez votre fichier model.json ou manifest.json pour vous assurer que les partitions sont spécifiées. Ensuite, actualisez la source de données.

• Si l’ingestion des données se produit en même temps que les sources de données sont actualisées pendant une actualisation automatique de la planification, les fichiers de partition peuvent être vides ou indisponibles pour le processus système. Pour vous aligner sur la planification de l’actualisation en amont, modifiez la planification de l’actualisation du système ou la planification de l’actualisation pour la source de données. Alignez le timing afin que les actualisations ne se produisent pas toutes en même temps.

Les champs Datetime sont au format incorrect

Les datetime champs de la table ne sont pas au format ISO 8601 ou en-US. Le format par défaut datetime dans Dynamics 365 Customer Insights - Données est en-US. Tous les datetime champs d’une table doivent être au même format. Customer Insights soutient d'autres formats à condition que les annotations ou caractéristiques soient réalisées au niveau de la source ou de la table dans le modèle ou manifest.json. Par exemple :

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]   

Dans un fichier manifest.json , le datetime format peut être spécifié au niveau de la table ou de l’attribut. Au niveau de la table, utilisez "exhibitsTraits" dans le tableau dans *.manifest.cdm.json pour définir le format datetime. Au niveau de l’attribut, utilisez "appliedTraits" dans l’attribut dans tablename.cdm.json.

Manifest.json au niveau de la table

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json au niveau de l’attribut

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Erreurs d’ingestion ou données endommagées avec Power Query

Les valeurs Datetime sont analysées de manière incorrecte ou un échec d’analyse se produit

L’incompatibilité de type de données la plus courante se produit lorsqu’un champ de date n’est pas défini sur le format de date correct. Cette incompatibilité peut être due à des données sources mal mises en forme ou à des paramètres régionaux incorrects.

Symptômes du problème de paramètres régionaux incorrects :

• Lorsque les données sources ne peuvent pas être analysées par les paramètres régionaux utilisés, une défaillance d’ingestion se produit. Par exemple, si « 29/08/2023 » est analysé avec « MM/DD/AAAA », l’ingestion échoue car elle ne peut pas analyser le mois 29.

• Lorsque les données sources sont analysées avec succès à l’aide d’un paramètre régional incorrect, les valeurs datetime sont incorrectes. Par exemple, les données sources sont mises en forme sous la forme « MM/DD/AAAA », tandis que les paramètres régionaux par défaut utilisés pour analyser les données pendant l’ingestion utilisent « DD/MM/AAAA ». Par conséquent, « le 8 décembre 2023 » est ingéré comme « 12 août 2023 ».

  

Résolution

• Pour corriger un format incorrect, actualisez les données sources et ré-ingérez-les.

• Pour corriger les paramètres régionaux incorrects, modifiez le type de tous les champs date/heure pour utiliser le paramètre régional approprié avec Changer le type>Utiliser le paramètre régional dans les transformations de Power Query. Par exemple :

  

  Pour plus d’informations, consultez les paramètres régionaux du document ou du projet.

Plus d’informations

• Se connecter aux données dans Azure Data Lake Storage
• Se connecter à une source de données Power Query
• Gérer les sources de données