Namespace hierárquico do Azure Data Lake Storage

Um mecanismo chave que permite ao Azure Data Lake Storage fornecer o desempenho do sistema de arquivos na escala e preços de armazenamento de objetos é a adição de um namespace hierárquico. Esse recurso organiza a coleção de objetos e arquivos em uma conta em uma hierarquia de diretórios e subdiretórios aninhados, semelhante ao sistema de arquivos em seu computador. Quando você habilita um namespace hierárquico, uma conta de armazenamento pode oferecer a escalabilidade e o custo-efetividade do armazenamento de objetos, juntamente com a semântica do sistema de arquivos que os mecanismos de análise e as estruturas acham familiares.

Os benefícios de um namespace hierárquico

Os sistemas de arquivos que implementam um namespace hierárquico nos dados de blob oferecem os seguintes benefícios:

  • Manipulação atômica de diretórios: os armazenamentos de objetos aproximam uma hierarquia de diretórios ao adotar a convenção de incluir barras (/) no nome do objeto para indicar segmentos de caminho. Embora essa convenção funcione para organizar objetos, ela não fornece assistência para ações como mover, renomear ou excluir diretórios. Sem diretórios reais, os aplicativos devem processar potencialmente milhões de blobs individuais para obter tarefas em nível de diretório. Por outro lado, um namespace hierárquico processa essas tarefas atualizando uma entrada (o diretório pai).

    Essa otimização é especialmente significativa para muitas estruturas de análise de Big Data. Ferramentas como Hive e Spark geralmente gravam a saída em locais temporários e depois renomeiam esse local ao final da tarefa. Sem um namespace hierárquico, essa operação de renomeação geralmente pode levar mais tempo do que o próprio processo de análise. Uma menor latência de trabalho é igual ao custo total de propriedade (TCO) mais baixo para cargas de trabalho de análise.

  • Estilo de interface familiar: Os desenvolvedores e usuários entendem os sistemas de arquivos. Ao migrar para a nuvem, você não precisa aprender um novo paradigma de armazenamento porque Data Lake Storage expõe a mesma interface do sistema de arquivos usada por computadores, grandes e pequenos.

Um dos motivos pelos quais os repositórios de objetos historicamente não dão suporte a um namespace hierárquico é que um namespace hierárquico limita a escala. No entanto, o namespace hierárquico Data Lake Storage é dimensionado linearmente e não degrada a capacidade ou o desempenho dos dados.

Decidir se deseja habilitar um namespace hierárquico

Depois de habilitar um namespace hierárquico em sua conta, você não poderá revertê-lo de volta para um namespace simples. Portanto, considere se faz sentido habilitar um namespace hierárquico com base na natureza de suas cargas de trabalho de repositório de objetos. Para avaliar o impacto de habilitar um namespace hierárquico em cargas de trabalho, aplicativos, custos, integrações de serviço, ferramentas, recursos e documentação, confira Atualizando o Armazenamento de Blobs do Azure com as funcionalidades do Azure Data Lake Storage.

Algumas cargas de trabalho podem não obter nenhum benefício ao habilitar o namespace hierárquico. Alguns exemplos dessas cargas de trabalho incluem backups, armazenamento de imagens e outros aplicativos em que a organização de objetos é armazenada separadamente dos próprios objetos (por exemplo, em um banco de dados separado).

Além disso, embora o suporte para recursos de armazenamento de Blobs e o ecossistema de serviços Azure continue a crescer, alguns recursos e serviços de Azure ainda não têm suporte em contas que têm um namespace hierárquico. Confira Problemas conhecidos.

Em geral, ative um namespace hierárquico para cargas de trabalho de armazenamento projetadas para sistemas de arquivos que manipulam diretórios. Essa recomendação inclui todas as cargas de trabalho que são principalmente para processamento de análise. Conjuntos de dados que exigem um alto grau de organização também se beneficiam da habilitação de um namespace hierárquico.

As razões para habilitar um namespace hierárquico são determinadas por uma análise de TCO. De modo geral, melhorias na latência da carga de trabalho devido à aceleração de armazenamento exigem recursos de computação por menos tempo. A latência de muitas cargas de trabalho pode melhorar devido à manipulação atômica de diretórios que um espaço de nomes hierárquico possibilita. Em muitas cargas de trabalho, o recurso de computação representa mais de 85% do custo total, portanto, até mesmo uma redução modesta na latência da carga de trabalho equivale a uma quantidade significativa de economia de TCO. Mesmo nos casos em que a habilitação de um namespace hierárquico aumenta os custos de armazenamento, o TCO ainda é reduzido devido a custos de computação reduzidos.

Para analisar as diferenças nos preços de armazenamento de dados, preços de transação e preço de reserva de capacidade de armazenamento entre contas que têm um namespace hierárquico plano versus um namespace hierárquico, confira Preços do Azure Data Lake Storage.

Próximas etapas

  • Last updated on