Supercomputer NVIDIA HGX AI

La piattaforma di calcolo IA leader mondiale.

Esplora il catalogo dei sistemi qualificati

Progettata appositamente per IA e HPC

IA, simulazionin complesse e set di dati massicci richiedono più GPU con connessioni estremamente veloci e stack software completamente accelerato. La piattaforma di supercomputing IA NVIDIA HGX™ mette insieme tutta la potenza delle GPU NVIDIA, NVLink®, il networking di NVIDIA e stack software con IA completamente ottimizzata e calcolo ad alte prestazioni (HPC) per fornire le massime prestazioni applicative e accelerare i tempi di analisi.

Piattaforma completa di computing accelerato senza pari

NVIDIA HGX B200 e HGX B100 integrano le GPU NVIDIA Blackwell Tensor Core con interconnessioni ad alta velocità per spingere il data center nella nuova era del computing accelerato e dell'IA generativa. Come piattaforma scale-up accelerata con prestazioni di inferenza fino a 15 volte superiori rispetto alla generazione precedente, i sistemi HGX basati su Blackwell sono progettati per i carichi di lavoro di IA generativa, analisi dei dati e HPC più esigenti.

NVIDIA HGX include opzioni di networking avanzate, a velocità che raggiungono i 400 gigabit al secondo (Gb/s), grazie a NVIDIA Quantum-2 InfiniBand e Spectrum™-X Ethernet per le massime prestazioni con l'IA. La HGX include anche le unità di elaborazione dati (DPU) NVIDIA® BlueField®-3 per abilitare il cloud networking, lo storage componibile, la sicurezza zero-trust e l'elasticità di calcolo della GPU in cloud IA iperscalabili.

Inferenza su deep learning: prestazioni e versatilità

Prestazioni previste soggette a modifica. Latenza token-to-token (TTL) = 50 millisecondi in tempo reale, latenza primo token (FTL) = 5 s, lunghezza sequenza di input = 32.768, lunghezza sequenza di output = 1.028, 8 GPU NVIDIA HGX™ H100 a otto vie con raffreddamento ad aria vs. 1 GPU HGX B200 a otto vie con raffreddamento ad aria, per il confronto delle prestazioni della GPU​.

Inferenza in tempo reale per la nuova generazione di modelli linguistici di grandi dimensioni

HGX B200 raggiunge prestazioni in inferenza fino a 15 volte superiori rispetto alla precedente generazione NVIDIA Hopper™ per modelli di grandi dimensioni come GPT-MoE-1.8T. Il Transformer Engine di seconda generazione utilizza la tecnologia personalizzata Blackwell Tensor Core abbinata ai framework innovativi TensorRT™-LLM e Nemo™ per accelerare l'inferenza sui modelli linguistici di grandi dimensioni  (LLM) e MoE (Mixture-of-Experts).  

Training su deep learning: prestazioni e scalabilità

Prestazioni previste soggette a modifica. Scalabilità 32.768 GPU, cluster 4.096 x HGX H100 a 8 vie con raffreddamento ad aria: rete 400G InfiniBand (IB), cluster 4.096 x 8 vie HGX B200 con raffreddamento ad aria: rete 400G IB.

Prestazioni di training di livello superiore

Il Transformer Engine di seconda generazione, con virgola mobile a 8 bit (FP8) e nuove precisioni, consente un training 3 volte più veloce per modelli linguistici di grandi dimensioni come GPT-MoE-1.8T. Questa innovazione è completata da NVLink di quinta generazione, con 1,8 TB/S di interconnessione GPU-GPU, rete InfiniBand e software NVIDIA Magnum IO™ . Insieme, queste soluzioni garantiscono una scalabilità efficiente per le imprese e i cluster di GPU computing di grandi dimensioni.

Accelerare HGX con NVIDIA Networking

Il data center è la nuova unità di calcolo e la rete svolge un ruolo fondamentale per la scalabilità delle prestazioni applicative. Insieme a NVIDIA Quantum InfiniBand, la HGX offre prestazioni ed efficienza di livello mondiale e assicura il pieno utilizzo delle risorse di calcolo.

Per i data center cloud IA che impiegano reti Ethernet, la HGX è l'opzione ideale per l'uso con la piattaforma di rete NVIDIA Spectrum-X, che alimenta le massime prestazioni IA su Ethernet. Con switch NVIDIA Spectrum™-X e DPU BlueField-3, offre risultati coerenti e prevedibili per migliaia di processi IA simultanei in ogni ordine di grandezza, grazie all'utilizzo ottimale delle risorse e all'isolamento delle prestazioni. Inoltre, Spectrum-X abilita la multi-tenancy cloud avanzata e la sicurezza zero-trust. Come design di riferimento, NVIDIA ha progettato Israel-1, un supercomputer IA generativo iperscalabile costruito con server Dell PowerEdge XE9680 basati sulla piattaforma NVIDIA HGX a otto GPU, DPU BlueField-3e switch Spectrum-X.

Connessione di HGX con NVIDIA Networking

  Piattaforma NVIDIA Quantum-2 InfiniBand:

Switch Quantum-2, adattatore ConnectX-7, DPU BlueField-3

 Piattaforma NVIDIA Spectrum-X:

Switch Spectrum-4, BlueField-3 SuperNIC

 Piattaforma NVIDIA Spectrum Ethernet:

Switch Spectrum, adattatore ConnectX, DPU BlueField

Training su deep learning Ottimale Migliore Standard
Simulazione scientifica Ottimale Migliore Standard
Analisi dei dati Ottimale Migliore Standard
Inferenza su deep learning Ottimale Migliore Standard

Specifiche di NVIDIA HGX

NVIDIA HGX è disponibile in schede di base singole con quatto o otto GPU H200 o H100 oppure con otto GPU  Blackwell. Questa potente combinazione di hardware e software pone le basi per la piattaforma di supercomputing IA definitiva.

  HGX B200 HGX B100
GPUs HGX B200 8-GPU HGX B100 8-GPU
Form factor 8x NVIDIA B200 SXM 8x NVIDIA B100 SXM
FP4 Tensor Core 144 PFLOPS 112 PFLOPS
FP8/FP6 Tensor Core 72 PFLOPS 56 PFLOPS
INT8 Tensor Core 72 POPS 56 POPS
FP16/BF16 Tensor Core 36 PFLOPS 28 PFLOPS
TF32 Tensor Core 18 PFLOPS 14 PFLOPS
FP32 640 TFLOPS 480 TFLOPS
FP64 320 TFLOPS 240 TFLOPS
FP64 Tensor Core 320 TFLOPS 240 TFLOPS
Memoria Fino a 1,5TB Fino a 1,5TB
NVIDIA NVLink Quinta generazione Quinta generazione
NVIDIA NVSwitch™ Quarta generazione Quarta generazione
Banda NVSwitch GPU-GPU 1,8 TB/s 1,8 TB/s
Banda totale aggregata 14,4 TB/s 14,4 TB/s
  * HGX H200
  4-GPU 8-GPU
GPUs HGX H200 4-GPU HGX H200 8-GPU
Fattore di forma 4x NVIDIA H200 SXM 8x NVIDIA H200 SXM
FP8/FP6 Tensor Core 16 PFLOPS 32 PFLOPS
INT8 Tensor Core 16 POPS 32 POPS
FP16/BFLOAT16 Tensor Core 8 PFLOPS 16 PFLOPS
TF32 Tensor Core 4 PFLOPS 8 PFLOPS
FP32 270 TFLOPS 540 TFLOPS
FP64 140 TFLOPS 270 TFLOPS
FP64 Tensor Core 270 TFLOPS 540 TFLOPS
Memoria Fino a 564 GB Fino a 1.1 TB
NVLink Quarta generazione Quarta generazione
NVSwitch N/D Terza generazione
Banda GPU-GPU NVSwitch N/D 900GB/s
Banda totale aggregata 3,6 TB/s 7,2 TB/s
  * HGX H100
  4-GPU 8-GPU
GPUs HGX H100 4-GPU HGX H100 8-GPU
Fattore di forma 4x NVIDIA H100 SXM 8x NVIDIA H100 SXM
HPC and AI compute (FP64/TF32/FP16/FP8/INT8)* 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
FP8/FP6 Tensor Core 16 PFLOPS 32 PFLOPS
INT8 Tensor Core 16 POPS 32 POPS
FP16/BFLOAT16 Tensor Core 8 PFLOPS 16 PFLOPS
TF32 Tensor Core 4 PFLOPS 8 PFLOPS
FP32 270 TFLOPS 540 TFLOPS
FP64 140 TFLOPS 270 TFLOPS
FP64 Tensor Core 270 TFLOPS 540 TFLOPS
Memory Fino a 320 GB Fino a 640 GB
NVLink Quarta generazione Quarta generazione
NVSwitch N/D Terza generazione
NVLink Switch N/D N/D
Banda GPU-GPU NVSwitch N/D 900GB/s
Banda totale aggregata 3,6 TB/s 7,2 TB/s

* Con densità

Leggi la scheda tecnica di NVIDIA HGX H100

Scopri di più sulla GPU NVIDIA H200 Tensor Core.

Scopri di più
Prodotti
Tecnologie
Software
Risorse