Fehlerbehebung bei der Datenintegration in Microsoft Planetary Computer Pro

Dateneinnahmeprobleme in Microsoft Planetary Computer Pro GeoCatalog fallen in der Regel in zwei Kategorien: Zugriffsberechtigungsprobleme und STAC (SpatioTemporal Asset Catalog) Überprüfungsfehler. Dieser Artikel hilft Ihnen, diese häufig auftretenden Aufnahmefehler zu identifizieren und zu beheben.

Voraussetzungen

Symptome

Datenaufnahmeworkflows schlagen mit bestimmten Fehlercodes fehl. Möglicherweise treten zwei Hauptkategorien von Problemen auf:

  1. Zugriffs- und Berechtigungsfehler: Der Aufnahmevorgang schlägt fehl, da der GeoCatalog-Dienst die Quelldaten nicht lesen kann. Möglicherweise werden Fehlercodes wie IngestionAuthenticationFailed, IngestionResourceForbidden, oder IngestionResourceUriNotFound angezeigt.
  2. STAC-Überprüfungsfehler: Die Erfassung schlägt fehl, da die bereitgestellten STAC-Metadaten nicht den STAC-Standard- oder dienstspezifischen Regeln entsprechen. Möglicherweise werden Fehlercodes wie StacValidationFailed, InvalidStacCatalog oder InvalidInputData angezeigt.

Identifizieren von Fehlern während der Aufnahme

Bei der Erfassung einzelner Elemente gibt die API-Antwort oder Benutzeroberfläche den Fehlercode zurück, wenn ein Aufnahmefehler auftritt.

Screenshot eines fehlers bei der Erfassung eines einzelnen Elements, einschließlich einer Hervorhebung, an der der Fehlercode gefunden werden soll.

Bei der Massenerfassung können die Fehler für jedes einzelne STAC-Element unterschiedlich sein. Um die einzelnen Fehler anzuzeigen, navigieren Sie zum Azure-Portal, und suchen Sie die Diagnoseeinstellungen für Ihre GeoCatalog-Ressource. Hier können Sie Erfassungsprotokolle aktivieren.

Screenshot der Suche nach GeoCatalogs im Azure-Portal.

Nachdem die Protokollierung aktiviert wurde, versuchen Sie erneut, die Erfassung durchzuführen. Wenn die Dateneingabe fehlschlägt, wechseln Sie zu dem Speicherort, den Sie in den Diagnoseeinstellungen angegeben haben, um die Fehler zu prüfen.

Ursache 1: GeoCatalog kann nicht auf Quelldaten zugreifen

Der GeoCatalog-Dienst verfügt nicht über die erforderlichen Berechtigungen zum Lesen Ihrer STAC-Metadaten (z. B catalog.json. ) und der zugehörigen Datenressourcen (z. B. GeoTIFF-Dateien). Dieser Fehler liegt daran, dass eine gültige Aufnahmequelle nicht für den Speicherort konfiguriert ist. Aufnahmequellen müssen sowohl für die Metadatendateien als auch für die Objektdateien konfiguriert werden, wenn sie an verschiedenen Speicherorten konfiguriert sind.

Lösung 1: Konfiguration der Berechtigungen für die Erfassungsquelle

  1. Überprüfen, ob die Aufnahmequelle vorhanden ist

    • Navigieren Sie zur Registerkarte " Einstellungen " ihres GeoCatalogs
    • Überprüfen, ob eine Aufnahmequelle für Ihren Speichercontainer konfiguriert ist
    • Falls nicht, erstellen Sie eine Aufnahmequelle.

  2. Anmeldeinformationen validieren

    Für verwaltete Identität:

    • Stellen Sie sicher, dass die verwaltete Identität über die Rolle " Storage Blob Data Reader " verfügt.
    • Überprüfen Sie, ob sich die Rollenzuweisung im richtigen Bereich befindet (Speicherkonto- oder Containerebene).
    • Überprüfen, ob die verwaltete Identität Ihrem GeoCatalog zugeordnet ist

    Für SAS-Token:

    • Überprüfen, ob das Token nicht abgelaufen ist
    • Sicherstellen, dass das Token über read und list Berechtigungen verfügt
    • Bestätigen Sie, dass das Token dem richtigen Container zugewiesen ist.

  3. Überprüfen des Zugriffs auf alle erforderlichen Speicherorte

    Diagramm eines STAC-Katalogs mit der Hierarchie, in der GeoCatalog Zugriff benötigt.

    Die Massenerfassung unterstützt statische STAC-Kataloge, die auf Assets verweisen, die sich außerhalb des Containers befinden, in dem die catalog.json Datei gespeichert ist. Für jeden Speichercontainer ist jedoch eine Aufnahmequelle für GeoCatalog erforderlich, um Berechtigungen zum Aufnehmen von Daten zu verwalten.

    Stellen Sie sicher, dass GeoCatalog über Berechtigungen für Folgendes verfügt:

    • JSON-Datei des STAC-Katalogs
    • Alle JSON-Dateien von STAC-Elementen
    • Alle Objektdateien, auf die in den STAC-Elementen verwiesen wird

  4. Erfassung erneut versuchen: Nachdem Sie die Konfiguration der Erfassungsquelle überprüft und korrigiert haben, versuchen Sie nochmal, die Datenerfassung durchzuführen.

Ursache 2: Fehler bei der STAC-Metadatenüberprüfung

Der Erfassungsdienst erzwingt streng die STAC-Spezifikation. Ihre Aufnahme schlägt fehl, wenn Ihre STAC-Katalog-, Sammlungs- oder Element-JSONs nicht dem Standard entsprechen oder bestimmte GeoCatalog-Anforderungen erfüllen.

Lösung 2.1: Beheben ungültiger STAC-Formate und -Werte

  1. Lokal validieren: Verwenden Sie vor der Erfassung eine Bibliothek wie pystac, um Ihre STAC-Objekte zu validieren. Dieser Ansatz kann viele häufige Formatierungsprobleme erfassen, bevor Daten aufgenommen werden.

  2. Pflichtfelder überprüfen:

    • Stellen Sie sicher, dass alle obligatorischen STAC-Felder in Ihren Metadaten vorhanden sind.
    • Bei der Erfassung eines einzelnen Elements muss der STAC Item JSON das collection Feld enthalten, dessen Wert auf die ID der Zielkollektion in Ihrem GeoCatalog festgelegt sein muss.

  3. Datumsangabe formatieren: Überprüfen Sie, ob alle datetime Felder dem ISO 8601-Standard entsprechen (z. B YYYY-MM-DDTHH:MM:SSZ. ). Die pystac Bibliothek stellt Hilfsprogramme bereit, um Datetimes korrekt zu formatieren.

  4. Auf ungültige Zeichen und Längen überprüfen:

    • STAC Item IDsund Asset keys:
      • Darf nur die folgenden Zeichen enthalten:
        • Buchstaben: A-Z, a-z
        • Ziffern: 0-9
        • Symbole: -, , _, ,+, (, , , ).
      • Alle anderen Zeichen sind ungültig.
      • Item IDs muss weniger als 150 Zeichen lang sein.
      • Asset keys muss weniger als 256 Zeichen lang sein.
    • STAC Collection IDs:
      • Darf nur die folgenden Zeichen enthalten:
        • Buchstaben: A-Z, a-z
        • Ziffern: 0-9
        • Symbole: -, , _.
      • Alle anderen Zeichen sind ungültig.
      • Collection IDs muss weniger als 243 Zeichen lang sein.

  5. Erfassung erneut versuchen: Nachdem Sie die STAC-Metadaten korrigiert haben, versuchen Sie nochmal, die Erfassung durchzuführen.

Lösung 2.2: Vereinfachen von STAC-Erweiterungen

  1. Identifizieren von Erweiterungen: Überprüfen Sie, ob Ihre STAC-Elemente STAC-Erweiterungen verwenden. Während sie leistungsfähig sind, fügen sie der Überprüfung Komplexität hinzu, und viele befinden sich nicht in einem endgültigen Status.
  2. Entfernen nicht wesentlicher Erweiterungen: Wenn Sie vermuten, dass eine Erweiterung einen StacValidationFailed Fehler verursacht, versuchen Sie, sie aus der Liste des STAC-Elements stac_extensions und allen zugehörigen Feldern zu entfernen.
  3. Erneute Validierung und Erneuter Versuch: Validieren Sie das vereinfachte STAC-Element lokal, und versuchen Sie dann erneut die Eingabe.

Verwandte Inhalte

  • Last updated on