La nuova era del computing.
GB200 NVL72 collega 36 CPU Grace e 72 GPU Blackwell in un design rack. Il sistema GB200 NVL72 è una soluzione rack-scale con raffreddamento a liquido con un dominio NVLink a 72 GPU che funge da GPU singola e offre inferenza in tempo reale 30 volte più veloce su LL con miliardi di parametri.
Il superchip GB200 Grace Blackwell è un componente essenziale del sistema NVIDIA GB200 NVL72, che collega due GPU NVIDIA Blackwell Tensor Core ad alte prestazioni e una CPU NVIDIA Grace tramite l'interconnessione NVIDIA® NVLink®-C2C alle due GPU Blackwell.
In evidenza
Inferenza ed efficienza energetica LLM: TTL = 50 millisecondi (ms) in tempo reale, FTL = 5 s, 32.768 input/1.024 output, NVIDIA HGX™ H100 in scala su InfiniBand (IB) rispetto a GB200 NVL72, training di 1,8 T MOE 4096x HGX H100 in scala su IB rispetto a 456 x GB200 NVL72 in scala su IB. Dimensioni cluster: 32.768
Carico di lavoro di aggregazione e unione nel database con compressione Snappy/Deflate derivata da query TPC-H Q4. Implementazione di query personalizzate per x86, H100 singola GPU e singola GPU da GB200 NLV72 rispetto a Intel Xeon 8480+
Prestazioni previste soggette a modifica.
Caratteristiche
NVIDIA GB200 Grace Blackwell NVL4 Superchip sblocca il futuro dell'HPC e dell'IA convergenti, offrendo prestazioni rivoluzionarie attraverso quattro GPU Blackwell connesse a NVIDIA NVLink™ unificate con due CPU Grace su NVLink-C2C.
Specifiche
GB200 NVL72 | Superchip Grace Blackwell GB200 | |
Configurazioni | 36 CPU Grace: 72 GPU Blackwell | 1 CPU Grace: 2 GPU Blackwell |
FP4 Tensor Core2 | 1.440 PFLOPS | 40 PFLOPS |
FP8/FP6 Tensor Core2 | 720 PFLOPS | 20 PFLOPS |
INT8 Tensor Core2 | 720 POPS | 20 POPS |
FP16/BF16 Tensor Core2 | 360 PFLOPS | 10 PFLOPS |
TF32 Tensor Core | 180 PFLOPS | 5 PFLOPS |
FP32 | 6.480 TFLOPS | 180 TFLOPS |
FP64 | 3.240 TFLOPS | 90 TFLOPS |
FP64 Tensor Core | 3.240 TFLOPS | 90 TFLOPS |
Memoria della GPU | Larghezza di banda | Fino a 13,5 TB HBM3e | 576 TB/s | Fino a 384 GB HBM3e | 16 TB/s |
Banda NVLink | 130 TB/s | 3,6 TB/s |
Numero di core CPU | 2.592 Core Arm® Neoverse V2 | 72 Core Arm Neoverse V2 |
Memoria della CPU | Larghezza di banda | Fino a 17 TB LPDDR5X | Fino a 18,4 TB/s | Fino a 480 GB | Fino a 512 GB/s |
1. Specifiche preliminari. Dati possibilmente soggetti a modifica. |
Inizia
Iscriviti per sapere quando NVIDIA Blackwell sarà disponibile.