Visit your regional NVIDIA website for local content, pricing, and where to buy partners specific to your country.
為所有資料中心開創運算新紀元。
NVIDIA GB200 Grace™ Blackwell NVL2 平台替所有資料中心開創運算新紀元，透過 2 個 Blackwell GPU 和 2 個 Grace CPU 為主流大型語言模型 (LLM) 推論、向量資料庫和資料處理提供無可比擬的效能。採用可擴充的單節點 NVIDIA MGX™ 架構，支援多種系統設計和網路選項，能將加速運算功能無縫整合至現有的資料中心基礎架構。
在 Computex 2024 中，世界頂級電腦製造商推出了採用 NVIDIA Blackwell 技術的系統，以推動下一次產業革命。
重點
5 倍vs. NVIDIA H100 Tensor Core GPU
9 倍 vs. H100
18 倍 vs. CPU
Llama3 LLM 推論：即時的標記對標記延遲 (TTL) = 50 毫秒、第一個標記延遲 (FTL) = 2 秒、輸入序列長度 = 2.048、輸出序列長度 = 1,024 輸出；與單一 GPU 比較：相對於氣冷 NVIDIA HGX™ H100，單節點氣冷 GB200 NVL2 的效能高出 8 倍 運用 NVIDIA Grace CPU 和 Blackwell GPU 共用記憶體，在 RAG 流程中得到的向量資料庫搜尋效能。1 個 x86、1 個 H100 GPU 和 1 個 GB200 NVL2 節點中的 GPU。 資料處理：具有 Snappy/Deflate 壓縮功能 (衍生於 TPC-H Q4 查詢) 的資料庫聯結和彙總工作負載。適用於 x86、H100 單一 GPU 和 GB200 NVL2 節點單一 GPU 的自訂查詢實作：GB200 與Intel Xeon 8480+ 相比 此為預期效能，有可能會變更。
GB200 NVL2 引入高達 1.3 TB 的大型一致性記憶體，由兩個 Grace CPU 和兩個 Blackwell GPU 共用。共用記憶體搭配第五代 NVIDIA® NVLink™ 和高速晶片對晶片 (C2C) 連線，可為主流語言模型 (如 Llama 3 70B) 提供快 5 倍的即時 LLM 推論效能。
GB200 NLV2 可將 RAG 向量搜尋作業加速最多 9 倍。維基百科資料集的向量資料庫超過 200 GB，可使用 Grace CPU 的 960 GB 記憶體和每秒 900 GB 的高速 C2C 連結，大幅強化低延遲向量搜尋。
資料庫在為企業處理和分析大量資料時扮演著關鍵角色。GB200 NVL2 運用高頻寬記憶體效能、NVLink-C2C 和 NVIDIA Blackwell 架構中的專用解壓縮引擎，能將關鍵資料庫查詢的速度提升至 CPU 的 18 倍。
功能
NVIDIA Blackwell 架構為加速運算帶來突破性進展，以無可比擬的效能、效率和規模推動運算新紀元。
NVIDIA Grace CPU 是一款突破性處理器，專為使用人工智慧、雲端和高效能運算 (HPC) 應用程式的現代資料中心而設計；它的卓越效能和記憶體頻寬讓能源效率超出現今頂尖伺服器處理器的 2 倍。
NVIDIA NVLink-C2C 以 900GB/s 的速度讓每個 Grace CPU 和 Blackwell GPU 一致地互連。 GB200 NVL2 使用 NVLink-C2C 和第五代 NVLink 來提供用於加速 AI 的 1.4 TB 一致記憶體模型。
Key Value (KV) Caching 透過儲存對話環境和歷史記錄來增進 LLM 回應速度。 GB200 NVL2 透過其完全一致的 Grace GPU 和 Blackwell GPU 記憶體（透過 NVLink-C2C 連接）來最佳化 Key Value Caching，達到比 PCIe 快 7 倍效能，使 LLM 預測文字的速度能夠比基於 x86 的 GPU 更快。
伺服器叢集中的每個 GPU 之間需快速且無間斷的連線，才能發揮百萬兆級高效能運算和一兆參數人工智慧模型的所有潛能。第五代 NVLink 是可擴充的互連技術，能為一兆和數兆參數人工智慧模型提供加速效能。
資料中心網路在推動人工智慧進步和效能方面扮演關鍵角色，堪稱分散式人工智慧模型訓練和生成式人工智慧效能的骨幹。 NVIDIA Quantum-X800 InfiniBand、NVIDIA Spectrum™-X800 Ethernet 乙太網路和 NVIDIA BlueField®-3 DPUs，可在無數個 Blackwell GPU 之間高效率擴充，提供最佳應用程式效能。
規格
1 這是初步規格，有可能會變更。 2 具有稀疏性。
NVIDIA GB200 NVL72 在機架規模設計中連接 36 個 GB200 超級晶片。GB200 NVL72 為水冷型機架規模解決方案，具備 72 個 GPU NVLink 網域，可作為單一大型 GPU 使用。
開始使用
註冊接收 NVIDIA Blackwell 上市通知。