NVIDIA DGX B200
卓越人工智慧中心的基礎。
革命性效率有賴進化式創新
NVIDIA DGX™ B200 是全球最靈活的企業人工智慧系統，適合各種規模的企業，也不受人工智慧部署階段侷限。DGX B200 配備 8 個 NVIDIA Blackwell GPU，並與第五代 NVIDIA® NVLink® 相互連結，可提供頂尖的效能。與前幾代相比，訓練效能和推論效能分別達到先前的 3 倍和 15 倍。DGX B200 採用 NVIDIA Blackwell GPU 架構，可以處理多種工作負載，包含大型語言模型、推薦系統和聊天機器人，非常適合希望加快人工智慧轉型的企業。
優勢
整合為一的人工智慧平台
效能
由 DGX B200 驅動的新一代效能
即時大型語言模型推論
此為預計效能，之後將有可能更新。Token 對 token 延遲 (TTL) = 50 毫秒即時時間，第一個 token 延遲 (FTL) = 5 秒，輸入序列長度 = 32,768，輸出序列長度 = 1,028，氣冷式的 8 倍八向 HGX H100 GPU 對比風冷式 1 倍八向 HGX B200 的個別 GPU 效能。
大幅提升人工智慧訓練效能
此為預計效能，之後可能會更新。採 32,768 個 GPU 規模，4,096 個八向 HGX H100 氣冷式叢集：400G IB 網路，4,096 個八向 HGX B200 氣冷式叢集：400G IB 網路。
規格
NVIDIA DGX B200 規格
| GPU | 8 個 NVIDIA Blackwell GPU |
| GPU 記憶體 | 總計 1,440 GB GPU 記憶體 |
| 效能 | 72 petaFLOPS 訓練和 144 FP4 推論 |
| 功耗 | 最高 14.3 kW |
| CPU | 2 個 Intel® Xeon® Platinum 8570 處理器 總共 112 個核心，2.1 GHz (基本)， 4 GHz (最大加速) |
| 系統記憶體 | 最高 4 TB |
| 網路 | 4 個 OSFP 連接埠，提供 8 個單埠 NVIDIA ConnectX-7 VPI
|
| 管理網路 | 每秒 10 Gb RJ45 內建網路介面卡 每秒 100 Gb 雙埠乙太網路介面卡 RJ45 主機基板管理控制器 (BMC) |
| 儲存空間 | 作業系統：2 個 1.9 TB NVMe M.2 內部儲存空間：8 個 3.84 TB NVMe U.2 |
| 軟體 | NVIDIA AI Enterprise：最佳化的人工智慧軟體 NVIDIA Base Command™：協調、排程、叢集管理 DGX 作業系統/Ubuntu：作業系統 |
| 機架單位 (RU) | 10 RU |
| 系統尺寸 | 高度：17.5 吋 (444 公釐) 寬度：19.0 吋 (482.2 公釐) 長度：35.3 吋 (897.1 公釐) |
| 作業溫度 | 5–30°C (41–86°F) |
| 企業支援 | 硬體和軟體的 3 年企業標準支援 全年無休的企業支援入口網站服務 當地上班時間的即時客服支援 |
資源
為每間企業提供超級運算技術
NVIDIA DGX SuperPOD
有了以 DGX B200 為基礎的 NVIDIA DGX SuperPOD™，頂尖企業就能部署具備 NVIDIA 人工智慧專業技術支援且功能完備的大規模基礎架構。
將 DGX 平台的價值發揮到極致
NVIDIA 企業支援服務可為你的 DGX 基礎架構提供支援、教育和專業服務。企業支援服務的 NVIDIA 專家會在人工智慧旅程的每一步全程陪伴，能協助您啟動專案並快速成功執行。
以 DGX 客戶的身分獲得獨家訓練優惠
瞭解如何運用人工智慧，用更快速度締造尖端突破，並探索 NVIDIA 深度學習機構 (DLI) 人工智慧專家專為 DGX 客戶提供的特別技術訓練。
開始使用