高速、多 GPU 通訊的建置組塊,能將大型資料集更快輸入模型,並迅速在 GPU 之間交換資料。
要釋放百萬兆級運算和兆級參數人工智慧模型的完整潛能,伺服器叢集中每個 GPU 之間就必須能快速流暢地通訊。第五代 NVIDIA® NVLink® 是可擴充互連技術,可為兆級和數兆級參數人工智慧模型釋放加速效能。
第五代 NVLink 大幅提升大型多 GPU 系統的擴充能力。單個 NVIDIA Blackwell Tensor 核心 GPU 可支援高達 18 個每秒 100 GB (GB/秒) 的 NVLink 連線,總頻寬可達每秒 1.8 TB (TB/秒),是前一代頻寬的 2 倍,更是第 5 代 PCIe 的 14 倍以上。GB200 NVL72 等伺服器平台可利用這項技術,為現今最複雜的大型模型提供更高的擴充能力。
NVIDIA H100 利用 NVLink 技術提升了 GPU 之間的通訊頻寬,增幅可達前一代的 1.5 倍,讓研究人員可以運用更大型、更精密的應用程式來解決更加複雜的問題。
NVLink 是每秒 1.8 TB、GPU 至 GPU 的雙向直接互連技術,可在伺服器內擴充多 GPU 的輸入和輸出 (IO) 。NVIDIA NVLink 交換器晶片連接多個 NVLink,可在單一機架與多機架間以 NVLink 全速提供 GPU 完全通訊。
為了達成高速的集體操作,每個 NVLink 交換器都搭載 NVIDIA 可擴充分層彙總和精簡通訊協定 (SHARP)™ 的引擎,可縮減網路並加速多播。
NVLink Switch 可讓 NVLink 連線跨節點延伸,並建立流暢且高頻寬的多節點 GPU 叢集,將 GPU 有效擴充至資料中心適用大小。NVIDIA NVLink Switch 可在單一 NVL72 中,提供每秒 130 TB 的 GPU 頻寬,以便進行大型模型平行處理。為了平衡提升的運算能力,具備 NVLink 的多伺服器叢集可將 GPU 通訊擴充,因此與單一的 8-GPU 系統相比,NVL72 可帶來 9 倍的 GPU 數量。
NVIDIA NVLink Switch 搭載 144 個 NVLink 連接埠,以及每秒 14.4 TB 的無阻塞 Switch 的容量。機架 Switch 專為 NVIDIA GB200 NVL72 系統設計,可提供高頻寬與低延遲,且支援外部第五代 NVLink 連線。
NVLink Switch 是第一款機架級 Switch 晶片,能在無阻塞運算網狀架構中支援多達 576 個完全互連的 GPU。NVLink Switch 能以每秒 1,800 GB 的驚人速度,在每一對 GPU 之間進行互連。支援完整的全方位通訊。GB200 NVL72 的 72 個 GPU 可當成單一部高效能加速器使用,具備高達 1.4 exaFLOPS 的人工智慧運算能力。
完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NVIDIA AI Enterprise 軟體套件與 NVIDIA NGC™ 目錄上的最佳化人工智慧模型和應用程式,而 NVLink 與 NVSwitch 則是解決方案的重要基石。此功能最強大的端對端人工智慧和高效能運算平台,可以讓研究人員提供實際結果,並將解決方案部署到生產環境中,為各種規模的作業提供前所未有的加速效能。
初步規格;可能隨時變更。
深入探索 NVIDIA Blackwell 架構