A computação de alto desempenho (HPC), também chamada de grande computação, utiliza um grande número de computadores baseados em CPU ou GPU para resolver tarefas matemáticas complexas.
Vários setores utilizam o HPC para resolver alguns dos problemas mais difíceis que enfrentam. Estes incluem cargas de trabalho como:
Genomics
Simulações do setor petrolífero
Finance
Design de semicondutores
Engenharia
Modelos de previsão meteorológica
De que forma é o HPC diferente na cloud?
Uma das principais diferenças entre um sistema HPC local e um na nuvem é a capacidade de os recursos serem dinamicamente adicionados e removidos conforme necessário. O dimensionamento dinâmico remove a capacidade de computação como estrangulamento e permite que os clientes dimensionem a infraestrutura para corresponder aos requisitos das tarefas.
Os artigos seguintes fornecem mais detalhes sobre esta capacidade de dimensionamento dinâmico.
Existem muitos componentes da infraestrutura que são necessários para construir um sistema de HPC. A computação, o armazenamento e a rede fornecem os componentes subjacentes, independentemente da forma como você escolhe gerenciar suas cargas de trabalho de HPC.
Computação
O Azure oferece uma variedade de tamanhos otimizados tanto para CPU como para Cargas de trabalho intensivas na GPU.
As VMs de série N utilizam GPUs NVIDIA concebidas para aplicações com utilização intensiva de computação ou gráficos, incluindo aprendizagem por inteligência artificial (IA) e visualização.
As cargas de trabalho de grande escala de processamento Batch e de HPC (Computação de Alto Desempenho) têm requisitos de armazenamento e acesso aos dados que excedem as capacidades dos sistemas de ficheiros na nuvem tradicionais. Existem muitas soluções que gerem tanto as necessidades de velocidade como de capacidade das aplicações HPC no Azure:
As VMs H16r, H16mr, A8 e A9 podem ligar-se a uma rede RDMA de back-end de alta largura de banda. Esta rede pode melhorar o desempenho de aplicações paralelas fortemente acopladas que correm sob a Microsoft Message Passing Interface, mais conhecida como MPI ou Intel MPI.
Se já tem um sistema HPC local que gostaria de ligar ao Azure, existem vários recursos para o ajudar a começar.
Primeiro, reveja o artigo Opções para ligar uma rede local a Azure na documentação. A partir daí, você pode encontrar informações adicionais sobre essas opções de conectividade:
Assim que a conectividade de rede estiver estabelecida de forma segura, poderá começar a utilizar recursos de computação em nuvem sob demanda, com as capacidades de expansão do seu gerenciador de carga de trabalho existente.
Soluções do Marketplace
Existem muitos gestores de carga de trabalho disponíveis no Marketplace Microsoft .
Azure Batch é um serviço de plataforma para executar aplicações paralelas e HPC em grande escala de forma eficiente na cloud. O Azure Batch agenda trabalhos intensivos em computação para correr num pool gerido de máquinas virtuais e pode escalar automaticamente os recursos computacionais para satisfazer as necessidades dos seus trabalhos.
Os fornecedores ou programadores SaaS podem usar os SDKs e ferramentas de Batch para integrar aplicações HPC ou cargas de trabalho de contentores com o Azure, escalar dados para o Azure e construir pipelines de execução de trabalhos.
No Azure Batch, todos os serviços estão a correr na Cloud. A imagem seguinte mostra como a arquitetura é com o Azure Batch, tendo as configurações de escalabilidade e cronograma de trabalhos a correr na Cloud, enquanto os resultados e relatórios podem ser enviados para o seu ambiente local.
Azure CycleCloud
Azure CycleCloud Fornece a forma mais simples de gerir cargas de trabalho HPC usando qualquer agendador (como Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro ou Symphony), em Azure
O CycleCloud permite-lhe:
Implementar clusters completos e outros recursos, incluindo o agendador, VMs de computação, armazenamento, rede e cache
Orquestrar fluxos de trabalho de tarefas, dados e nuvem
Dar aos administradores controlo total sobre que utilizadores podem executar tarefas, bem como onde e por que custo podem fazê-lo
Personalizar e otimizar clusters através de funcionalidades avançadas de políticas e governação, incluindo controlos de custos, integração com Active Directory, monitorização e relatórios
Utilizar o seu agendador de tarefas e aplicações atuais sem modificações
Tirar partido do dimensionamento automático incorporado e de arquiteturas de referência testadas exaustivamente para um vasto leque de cargas de trabalho de HPC e indústrias
Modelo híbrido/cloud bursting
Neste diagrama de exemplo híbrido, podemos ver claramente como esses serviços são distribuídos entre a nuvem e o ambiente local. Ter a oportunidade de executar trabalhos em ambas as cargas de trabalho.
Modelo nativo da nuvem
O seguinte diagrama de exemplo de modelo nativo na cloud mostra como a carga de trabalho na cloud irá lidar com tudo, mantendo ainda assim a ligação ao ambiente local.
Gráfico comparativo
Feature
Azure Batch
Azure CycleCloud
Agendador
APIs e ferramentas em lote e scripts de linha de comando no portal Azure ("Cloud Native").
Use agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou estenda os plug-ins de dimensionamento automático do CycleCloud para trabalhar com seu próprio agendador.
Recursos de computação
Software as a Service Nodes – Plataforma como Serviço
Software de Plataforma como um Serviço – Plataforma como um Serviço
Ferramentas de monitorização
Azure Monitor
Azure Monitor, Grafana
Personalização
Pools de imagens personalizadas, imagens de terceiros, acesso à API em lote.
Use a abrangente API RESTful para personalizar e estender a funcionalidade, implantar seu próprio agendador e oferecer suporte aos gerenciadores de carga de trabalho existentes
Integração
Data Factory in Microsoft Fabric, Azure Data Factory, CLI do Azure
Seguem-se exemplos de gestores de clusters e cargas de trabalho que podem correr na infraestrutura Azure. Crie clusters autónomos em VMs do Azure ou faça burst para as VMs do Azure a partir de um cluster no local.
Os contentores também podem ser utilizados para gerir algumas cargas de trabalho de HPC. Serviços como o Azure Kubernetes Service (AKS) facilitam a implementação de um cluster Kubernetes gerido no Azure.
Gerir o custo do seu HPC no Azure pode ser feito de várias formas. Certifique-se de que analisou as opções de compra Azure para encontrar o método que melhor funciona para a sua organização.
Além das configurações de rede disponíveis na seção Cloud Bursting , você pode implementar uma configuração hub/spoke para isolar seus recursos de computação:
Executar aplicações HPC personalizadas ou comerciais no Azure. Vários exemplos nesta secção foram submetidos a testes de referência para dimensionar de forma eficiente com VMs ou núcleos de computação adicionais. Visite o Microsoft Marketplace para soluções prontas a implementar.
Observação
Entre em contacto com o fornecedor de qualquer aplicação comercial para saber quais são as restrições de licenciamento (ou outras restrições) de execução na cloud. Nem todos os fornecedores oferecem licenciamento pay as you go. Poderá precisar de um servidor de licenciamento na cloud para a sua solução ou ligar-se a um servidor de licenças no local.
Execute máquinas virtuais com GPU no Azure na mesma região da saída HPC para a menor latência, acesso e visualização remota através do Azure Virtual Desktop.
