NVIDIA GB200 NVL2

NVIDIA Blackwell 架構為加速運算帶來突破性進展，以無可比擬的效能、效率和規模推動運算新紀元。

NVIDIA Grace CPU 是一款突破性處理器，專為使用人工智慧、雲端和高效能運算 (HPC) 應用程式的現代資料中心而設計；它的卓越效能和記憶體頻寬讓能源效率超出現今頂尖伺服器處理器的 2 倍。

NVIDIA NVLink-C2C 以 900GB/s 的速度讓每個 Grace CPU 和 Blackwell GPU 一致地互連。 GB200 NVL2 使用 NVLink-C2C 和第五代 NVLink 來提供用於加速 AI 的 1.4 TB 一致記憶體模型。

Key Value (KV) Caching 透過儲存對話環境和歷史記錄來增進 LLM 回應速度。 GB200 NVL2 透過其完全一致的 Grace GPU 和 Blackwell GPU 記憶體（透過 NVLink-C2C 連接）來最佳化 Key Value Caching，達到比 PCIe 快 7 倍效能，使 LLM 預測文字的速度能夠比基於 x86 的 GPU 更快。

伺服器叢集中的每個 GPU 之間需快速且無間斷的連線，才能發揮百萬兆級高效能運算和一兆參數人工智慧模型的所有潛能。第五代 NVLink 是可擴充的互連技術，能為一兆和數兆參數人工智慧模型提供加速效能。

資料中心網路在推動人工智慧進步和效能方面扮演關鍵角色，堪稱分散式人工智慧模型訓練和生成式人工智慧效能的骨幹。 NVIDIA Quantum-X800 InfiniBand、NVIDIA Spectrum™-X800 Ethernet 乙太網路和 NVIDIA BlueField®-3 DPUs，可在無數個 Blackwell GPU 之間高效率擴充，提供最佳應用程式效能。