Compartilhar via

Solução de problemas de ingestão de dados no Microsoft Planetry Computer Pro

Problemas de ingestão de dados no Microsoft Planetary Computer Pro GeoCatalog normalmente se enquadram em duas categorias: problemas de permissão de acesso e erros de validação do STAC (Catálogo de Ativos SpatioTemporal). Este artigo ajuda você a identificar e resolver essas falhas comuns de ingestão.

Pré-requisitos

Sintomas

Os fluxos de trabalho de ingestão de dados falham com códigos de erro específicos. Você pode encontrar duas categorias principais de problemas:

  1. Erros de acesso e permissão: O processo de ingestão falha porque o serviço GeoCatalog não pode ler os dados de origem. Você pode ver códigos de erro como IngestionAuthenticationFailed, IngestionResourceForbiddenou IngestionResourceUriNotFound.
  2. Erros de validação do STAC: A ingestão falha porque os metadados STAC fornecidos não estão em conformidade com as regras padrão stac ou específicas do serviço. Você pode ver códigos de erro como StacValidationFailed, InvalidStacCatalogou InvalidInputData.

Identificando erros durante a ingestão

Para Ingestão de Item Único, se ocorrer um erro de ingestão, a resposta da API ou a interface do usuário retornará o código de erro.

Captura de tela de um único erro de ingestão de item, incluindo um realce de onde encontrar o código de erro.

Para a Ingestão em Massa, os erros podem ser diferentes para cada um dos Itens STAC individuais. Para ver os erros individuais, navegue até o portal do Azure e localize as Configurações de Diagnóstico para o recurso GeoCatalog. Aqui, você pode habilitar logs de ingestão.

Captura de tela da pesquisa de GeoCatalogs no portal do Azure.

Depois que o registro em log estiver habilitado, tente a ingestão novamente. Se a ingestão falhar, vá para o local especificado nas configurações de diagnóstico para examinar os erros.

Causa 1: GeoCatalog não pode acessar dados de origem

O serviço GeoCatalog não tem as permissões necessárias para ler os metadados STAC (por exemplo, catalog.json) e os ativos de dados associados (por exemplo, arquivos GeoTIFF). Esse erro ocorre porque uma fonte de ingestão válida não está configurada para o local de armazenamento. As fontes de ingestão devem ser configuradas tanto para os arquivos de metadados quanto para os arquivos de ativos, caso estejam configurados em locais diferentes.

Solução 1: configurar permissões de origem de ingestão

  1. Verificar se a fonte de ingestão existe

    • Navegue até a guia Configurações do GeoCatalog
    • Verifique se uma fonte de ingestão está configurada para o contêiner de armazenamento
    • Caso contrário, crie uma fonte de ingestão

  2. Validar credenciais

    Para identidade gerenciada:

    • Verifique se a identidade gerenciada tem a função Leitor de Dados do Blob de Armazenamento
    • Verifique se a atribuição de função está no escopo correto (conta de armazenamento ou nível de contêiner)
    • Verifique se a identidade gerenciada está associada ao GeoCatalog

    Para tokens SAS:

    • Verifique se o token não expirou
    • Verifique se o token tem read e list permissões
    • Confirme se o token está no escopo do contêiner correto

  3. Verificar o acesso a todos os locais necessários

    Diagrama de um Catálogo STAC mostrando a hierarquia de onde o GeoCatalog precisa de acesso.

    A Ingestão em Massa dá suporte a catálogos STAC estáticos que fazem referência a ativos localizados no armazenamento além do contêiner em que o arquivo catalog.json está armazenado. No entanto, cada contêiner de armazenamento requer uma fonte de ingestão para o GeoCatalog manter permissões para ingerir dados.

    Verifique se o GeoCatalog tem permissões para:

    • Arquivo JSON do catálogo STAC
    • Todos os arquivos JSON do item STAC
    • Todos os arquivos de ativos referenciados nos itens STAC

  4. Tentar novamente a ingestão: Depois de verificar e corrigir a configuração da fonte de ingestão, tente a ingestão novamente.

Causa 2: Falha na validação de metadados stac

O serviço de ingestão impõe estritamente a especificação de STAC. Sua ingestão falhará se os JSONs de Catálogo, Coleção ou Item do STAC não estiverem em conformidade com o padrão ou atenderem a requisitos específicos do GeoCatalog.

Solução 2.1: corrigir valores e formato stac inválidos

  1. Validar localmente: Antes de ingerir, use uma biblioteca como pystac para validar seus objetos STAC. Essa abordagem pode capturar muitos problemas comuns de formatação antes de ingerir dados.

  2. Verificar campos necessários:

    • Verifique se todos os campos STAC obrigatórios estão presentes em seus metadados.
    • Para ingestão de item único, o JSON do item STAC deve incluir o campo collection, com seu valor definido como a ID da coleção de destino em seu GeoCatalog.

  3. Formato Data e Hora: Verifique se todos os datetime campos estão em conformidade com o padrão ISO 8601 (por exemplo, YYYY-MM-DDTHH:MM:SSZ). A pystac biblioteca fornece utilitários para formatar datas e horas corretamente.

  4. Verifique se há caracteres e comprimentos inválidos:

    • STAC Item IDs e Asset keys:
      • Deve conter apenas os seguintes caracteres:
        • Letras: A-Z, a-z
        • Dígitos: 0-9
        • Símbolos: -, , _, +, ,, (, , ), .
      • Todos os outros caracteres são inválidos.
      • Item IDs deve ter menos de 150 caracteres.
      • Asset keys deve ter menos de 256 caracteres.
    • STAC Collection IDs:
      • Deve conter apenas os seguintes caracteres:
        • Letras: A-Z, a-z
        • Dígitos: 0-9
        • Símbolos: -, , _.
      • Todos os outros caracteres são inválidos
      • Collection IDs deve ter menos de 243 caracteres.

  5. Tentar novamente a ingestão: Depois de corrigir os metadados STAC, tente a ingestão novamente.

Solução 2.2: Simplificar extensões STAC

  1. Identificar extensões: verifique se os itens do STAC usam extensões STAC. Embora poderosos, eles adicionam complexidade à validação e muitos não estão em um status finalizado.
  2. Remover extensões não essenciais: Se você suspeitar que uma extensão está causando um StacValidationFailed erro, tente removê-la da lista do stac_extensions item STAC e de todos os campos associados.
  3. Validar novamente e tentar novamente: Valide o item STAC simplificado localmente e tente novamente a ingestão.

Conteúdo relacionado

  • Last updated on