Supercomputador de IA NVIDIA HGX

A plataforma de computação de IA líder mundial.

Desenvolvido Especificamente para IA e HPC

IA, simulações complexas e conjuntos de dados massivos exigem múltiplas GPUs com interconexões extremamente rápidas e um stack de software totalmente acelerado. A plataforma de supercomputação de IA NVIDIA HGX™ reúne todo o poder das GPUs NVIDIA, NVLink ®, redes NVIDIA e stacks de software de IA e computação de alto desempenho (HPC) totalmente otimizadas para fornecer o mais alto desempenho de aplicações e gerar insights mais rápidos.

Plataforma Incomparável de Computação Acelerada Ponta a Ponta

A NVIDIA HGX B200 e o HGX B100 integram GPUs NVIDIA Blackwell Tensor Core com interconexões de alta velocidade para impulsionar o data center para uma nova era de computação acelerada e IA generativa. Como uma plataforma de expansão acelerada de primeira linha com até 15 vezes mais desempenho de inferência do que a geração anterior, os sistemas HGX baseados na Blackwell são projetados para as mais exigentes cargas de trabalho de IA generativa, análise de dados e HPC.

O NVIDIA HGX H200 combina GPUs H200 Tensor Corecom interconexões de alta velocidade para oferecer desempenho, escalabilidade e segurança extraordinários para cada data center. Configurações de até oito GPUs oferecem aceleração sem precedentes, com impressionantes 32 petaFLOPS de desempenho para criar a plataforma de servidor de expansão acelerada mais poderosa do mundo para IA e HPC.

Tanto a HGX H200 quanto a HGX H100 incluem opções de rede avançadas, em velocidades de até 400 gigabits por segundo (Gb/s), utilizando NVIDIA Quantum-2 InfiniBand e Spectrum™ -X Ethernet para o mais alto desempenho de IA. HGX H200 e HGX H100 também incluem unidades de processamento de dados (DPUs) NVIDIA® BlueField®-3 para permitir rede na nuvem, armazenamento combinável, segurança de confiança zero e elasticidade de computação de GPU em nuvens de IA em hiperescala.

Inferência de Deep Learning: Desempenho e Versatilidade

Inferência em Tempo Real para a Próxima Geração de Grandes Modelos de Linguagem

Desempenho projetado sujeito a alterações. Latência token a token (TTL) = 50 milissegundos ( ms ) em tempo real, latência do primeiro token (FTL) = 5s, comprimento da sequência de entrada = 32.768, comprimento da sequência de saída = 1.028, 8 GPUs NVIDIA HGX™ H100 de oito vias refrigerado vs. 1x HGX B200 de oito vias refrigerado a ar, por comparação de desempenho da GPU.

A HGX B200 alcança desempenho de inferência até 15 vezes maior em relação à geração anterior do NVIDIA Hopper™ para modelos massivos como o GPT-MoE-1.8T. O Transformer Engine de segunda geração usa tecnologia personalizada Blackwell Tensor Core combinada com inovações TensorRT™ -LLM e Framework Nemo™ para acelerar a inferência para grandes modelos de linguagem(LLMs) e modelos de mistura de especialistas ( MoE ).

Treinamento de Deep Learning: Desempenho e Escalabilidade

Desempenho de Treinamento de Próximo Nível

Desempenho projetado sujeito a alterações. Escala de 32.768 GPU, cluster refrigerado a ar HGX H100 de oito vias 4.096x: rede InfiniBand (IB) 400G, cluster refrigerado a ar HGX B200 de 4.096x 8 vias: rede IB 400G.

O Transformer Engine de segunda geração, com ponto flutuante de 8 bits (FP8) e novas precisões, permite um treinamento notável 3 vezes mais rápido para grandes modelos de linguagem como GPT-MoE-1.8T. Essa inovação é complementada pelo NVLink de quinta geração com 1,8TB/s de interconexão GPU a GPU, rede InfiniBand e software NVIDIA Magnum IO™. Juntos, eles garantem escalabilidade eficiente para empresas e extensos clusters de computação GPU.

Acelerando HGX com Rede NVIDIA

O data center é a nova unidade de computação e a rede desempenha um papel fundamental no dimensionamento do desempenho das aplicações nele. Emparelhado com NVIDIA Quantum InfiniBand, a HGX oferece desempenho e eficiência de classe mundial, o que garante a utilização total dos recursos de computação.

Para data centers na nuvem de IA que implantam Ethernet, a HGX é melhor usada com a plataforma de rede NVIDIA Spectrum-X, que proporciona o mais alto desempenho de IA em Ethernet de 400Gb/s. Apresentando switches NVIDIA Spectrum™-4 e DPUs BlueField-3, o Spectrum-X oferece resultados consistentes e previsíveis para milhares de trabalhos simultâneos de IA em todas as escalas por meio da utilização ideal de recursos e isolamento de desempenho. O Spectrum-X permite multilocação avançada na nuvem e segurança de confiança zero. Como design de referência para o NVIDIA Spectrum-X, a NVIDIA projetou o Israel-1, um supercomputador de IA generativa em hiperescala construído com servidores Dell PowerEdge XE9680 baseados na plataforma NVIDIA HGX H200 ou H100 de oito GPUs, DPUs BlueField-3 e Spectrum-4. comuta.

Conectando HGX com Rede NVIDIA

  Plataforma NVIDIA Quantum-2 InfiniBand:

Switch Quantum-2, Adaptador ConnectX-7, DPU BlueField-3

Plataforma NVIDIA Spectrum-X:

Switch Spectrum-4, DPU BlueField-3, licença Spectrum-X

Plataforma Ethernet NVIDIA Spectrum:

Switch Spectrum, Adaptador ConnectX, DPU BlueField

Treinamento de Deep Learning Excelente Ótimo Bom
Simulação Científica Excelente Ótimo Bom
Análise de Dados Excelente Ótimo Bom
Inferência de Deep Learning Excelente Ótimo Bom

Especificações NVIDIA HGX

NVIDIA HGX está disponível em placas de base únicas com quatro GPUs H200 ou H100 ou oito GPUs H200, H100, B200 ou B100. Essas poderosas combinações de hardware e software estabelecem a base para um desempenho de supercomputação de IA sem precedentes.

  HGX B200 HGX B100
GPU 8 GPUs HGX B200 8 GPUs HGX B100
Formato 8 NVIDIA B200 SXM 8 NVIDIA B100SXM
HPC e IA (FP64/TF32/FP16/FP8/FP4)* 320TF/18PF/36PF/72PF/144PF 240TF/14PF/28PF/56PF/112PF
Memória Até 1,5 TB Até 1,5 TB
NVIDIA NVLink Quinta geração Quinta geração
NVIDIA NVSwitch™ Quarta geração Quarta geração
NVSwitch GPU para GPU 1,8TB/s 1,8TB/s
Largura de Banda Agregada Total 14,4TB/s 14,4TB/s
  * HGX H200
  4 GPUs 8 GPUs
GPU 4 GPUs HGX H200 8 GPUs HGX H200
Formato 4 NVIDIA H200 SXM 8 NVIDIA H200 SXM
HPC e IA (FP64/TF32/FP16/FP8/INT8)* 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
Memória Até 564GB Até 1,1TB
NVLink Quarta geração Quarta geração
NVSwitch N/D Terceira geração
NVSwitch GPU para GPU N/D 900 GB/s
Largura de Banda Agregada Total 3,6TB/s 7,2TB/s
  * HGX H100
  4-GPU 8-GPU
GPU 4 GPUs HGX H100 8 GPUs HGX H100
Formato 4 NVIDIA H100 SXM 8 NVIDIA H100SXM
HPC e IA (FP64/TF32/FP16/FP8/INT8)* 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
Memória Até 320GB Até 640GB
NVLink Quarta geração Quarta geração
NVSwitch N/D Terceira geração
NVLink Switch N/D N/D
NVSwitch GPU para GPU N/D 900 GB/s
Largura de Banda Agregada Total 3,6TB/s 7,2TB/s

Saiba mais sobre a GPU NVIDIA H200 Tensor Core.