NVIDIA GB200 NVL72
驅動運算新時代
釋放即時兆級參數模型
GB200 NVL72 機架連接 36 個 Grace CPU 和 72 個 Blackwell GPU。 GB200 NVL72 搭載液冷的機架級解決方案，擁有 72 個使用 NVLink 互聯的 GPU，能夠作為單一大型的 GPU 使用，並為擁有兆級參數的 LLM 提供 30 倍的即時推論速度。
GB200 Grace Blackwell 超級晶片是 NVIDIA GB200 NVL72 的關鍵元件，使用 NVIDIA® NVLink®-C2C 連接兩個高效能的 NVIDIA Blackwell Tensor Core GPU 和一個 NVIDIA Grace CPU。
重點
大幅強化新一代人工智慧和加速運算
"LLM inference and energy efficiency: TTL = 50 milliseconds (ms) real time, FTL = 5s, 32,768 input/1,024 output, NVIDIA HGX™ H100 scaled over InfiniBand (IB) vs. GB200 NVL72, training 1.8T MOE 4096x HGX H100 scaled over IB vs. 456x GB200 NVL72 scaled over IB. Cluster size: 32,768
A database join and aggregation workload with Snappy / Deflate compression derived from TPC-H Q4 query. Custom query implementations for x86, H100 single GPU and single GPU from GB200 NLV72 vs. Intel Xeon 8480+
此為預計效能，之後將有可能更新。
特色
技術突破
規格
GB200 NVL721 規格
| GB200 NVL72 | GB200 Grace Blackwell Superchip | |
| 組成 | 36 個 Grace CPU、72 個 Blackwell GPU | 1 個 Grace CPU、2 個 Blackwell GPU |
| FP4 Tensor 核心2 | 1,440 PFLOPS | 40 PFLOPS |
| FP8/FP6 Tensor 核心2 | 720 PFLOPS | 20 PFLOPS |
| INT8 Tensor 核心2 | 720 POPS | 20 POPS |
| FP16/BF16 Tensor 核心2 | 360 PFLOPS | 10 PFLOPS |
| TF32 Tensor 核心 | 180 PFLOPS | 5 PFLOPS |
| FP32 | 6,480 TFLOPS | 180 TFLOPS |
| FP64 | 3,240 TFLOPS | 90 TFLOPS |
| FP64 Tensor 核心 | 3,240 TFLOPS | 90 TFLOPS |
| GPU 記憶體頻寬 | 最高 13.5 TB HBM3e | 每秒 576 TB | 最高 384 GB HBM3e | 每秒 16 TB |
| NVLink 記憶體頻寬 | 每秒 130 TB | 每秒 3.6 TB |
| CPU 核心數 | 2592 個 Arm® Neoverse V2 核心 | 72 個 Arm Neoverse V2 核心 |
| CPU 記憶體頻寬 | 最高 17 TB LPDDR5X | 最高每秒 18.4 TB | 最高 480GB LPDDR5X | 最高每秒 512 GB |
|
1. 以上為初步規格，可能變更。 |
||
開始使用
隨時掌握最新消息
訂閱以在 NVIDIA Blackwell 上市時獲得通知。