NVIDIA GB200 NVL2
為所有資料中心開創運算新紀元。
無可比擬的單一伺服器效能
NVIDIA GB200 Grace™ Blackwell NVL2 平台替所有資料中心開創運算新紀元，透過 2 個 Blackwell GPU 和 2 個 Grace CPU 為主流大型語言模型 (LLM) 推論、向量資料庫和資料處理提供無可比擬的效能。採用可擴充的單節點 NVIDIA MGX™ 架構，支援多種系統設計和網路選項，能將加速運算功能無縫整合至現有的資料中心基礎架構。
重點
顛覆加速運算效能
Llama3 LLM 推論：即時的標記對標記延遲 (TTL) = 50 毫秒、第一個標記延遲 (FTL) = 2 秒、輸入序列長度 = 2.048、輸出序列長度 = 1,024 輸出；與單一 GPU 比較：相對於氣冷 NVIDIA HGX™ H100，單節點氣冷 GB200 NVL2 的效能高出 8 倍
運用 NVIDIA Grace CPU 和 Blackwell GPU 共用記憶體，在 RAG 流程中得到的向量資料庫搜尋效能。1 個 x86、1 個 H100 GPU 和 1 個 GB200 NVL2 節點中的 GPU。
資料處理：具有 Snappy/Deflate 壓縮功能 (衍生於 TPC-H Q4 查詢) 的資料庫聯結和彙總工作負載。適用於 x86、H100 單一 GPU 和 GB200 NVL2 節點單一 GPU 的自訂查詢實作：GB200 與Intel Xeon 8480+ 相比
此為預期效能，有可能會變更。
功能
技術突破
Blackwell 架構
NVIDIA Blackwell 架構為加速運算帶來突破性進展，以無可比擬的效能、效率和規模推動運算新紀元。
NVIDIA Grace CPU
NVIDIA Grace CPU 是一款突破性處理器，專為使用人工智慧、雲端和高效能運算 (HPC) 應用程式的現代資料中心而設計；它的卓越效能和記憶體頻寬讓能源效率超出現今頂尖伺服器處理器的 2 倍。
NVLINK C2C
NVIDIA NVLink-C2C 以 900GB/s 的速度讓每個 Grace CPU 和 Blackwell GPU 一致地互連。 GB200 NVL2 使用 NVLink-C2C 和第五代 NVLink 來提供用於加速 AI 的 1.4 TB 一致記憶體模型。
Key Value (KV) Caching
Key Value (KV) Caching 透過儲存對話環境和歷史記錄來增進 LLM 回應速度。 GB200 NVL2 透過其完全一致的 Grace GPU 和 Blackwell GPU 記憶體（透過 NVLink-C2C 連接）來最佳化 Key Value Caching，達到比 PCIe 快 7 倍效能，使 LLM 預測文字的速度能夠比基於 x86 的 GPU 更快。
第五代 NVIDIA NVLink
伺服器叢集中的每個 GPU 之間需快速且無間斷的連線，才能發揮百萬兆級高效能運算和一兆參數人工智慧模型的所有潛能。第五代 NVLink 是可擴充的互連技術，能為一兆和數兆參數人工智慧模型提供加速效能。
NVIDIA 網路
資料中心網路在推動人工智慧進步和效能方面扮演關鍵角色，堪稱分散式人工智慧模型訓練和生成式人工智慧效能的骨幹。 NVIDIA Quantum-X800 InfiniBand、NVIDIA Spectrum™-X800 Ethernet 乙太網路和 NVIDIA BlueField®-3 DPUs，可在無數個 Blackwell GPU 之間高效率擴充，提供最佳應用程式效能。
規格
GB200 NVL2¹ 規格
| 設定 | 2 個 Grace CPU、2 個 Blackwell GPU |
| FP4 Tensor 核心² | 40 PFLOPS |
| FP8/FP6 Tensor 核心² | 20 PFLOPS |
| INT8 Tensor 核心² | 20 POPS |
| FP16/BF16 Tensor 核心² | 10 PFLOPS |
| TF32 Tensor 核心² | 5 PFLOPS |
| FP32 | 180 TFLOPS |
| FP64/FP64 Tensor Core | 90 TFLOPS |
| GPU 記憶體 | 頻寬 | 最高 384 GB | 每秒 16 TB |
| CPU 核心數 | 144 個 Arm® Neoverse V2 核心 |
| LPDDR5X 記憶體 | 頻寬 | 最高 960 GB | 每秒高達 1,024 GB |
| 互連技術 | NVLink：每秒 1.8 TB NVLink-C2C：2 個，每秒 900 GB 第六代 PCIe：2 個，每秒 256 GB |
| 伺服器選項 | 使用 NVIDIA MGX 的各種 NVIDIA GB200 NVL2 設定選項 |
|
1 這是初步規格，有可能會變更。 |
|
NVIDIA GB200 NVL72
NVIDIA GB200 NVL72 在機架規模設計中連接 36 個 GB200 超級晶片。GB200 NVL72 為水冷型機架規模解決方案，具備 72 個 GPU NVLink 網域，可作為單一大型 GPU 使用。
開始使用
掌握最新消息
註冊接收 NVIDIA Blackwell 上市通知。