NVIDIA GB300 NVL72

AI 推論の時代に対応した設計。

間もなくリリース

ご登録いただくと、NVIDIA GB300 NVL72 がリリースされ次第、通知を受け取ることができます。

通知を受け取る

プレスリリースを読む

概要

通知を受け取る

概要

AI 推論のパフォーマンスを追求した設計

NVIDIA GB300 NVL72 は、テストタイムスケーリング推論のために最適化された単一プラットフォームに 72 個の NVIDIA Blackwell Ultra GPU と 36 個の Arm® ベースの NVIDIA Grace™ CPU を統合した、完全液冷式のラックスケールデザインを特徴としています。NVIDIA Quantum-X800 InfiniBand または Spectrum™-X イーサネットを採用し、GB300 NVL72 を搭載した AI ファクトリーは、NVIDIA Hopper™ プラットフォームと比較して、推論モデルにおいて、50 倍の出力を実現します。

パフォーマンス

AI ファクトリーを前例のないレベルにスケーリング

DeepSeek R1 ISL = 32K、OSL = 8K、GB300 NVL72 (FP4 Dynamo 分散) FP8 のインフライトバッチングを備えた H100。予想されるパフォーマンスは変更される可能性があります。

NVIDIA GB300 NVL72 プラットフォームで、次世代の AI 推論パフォーマンスを体験しましょう。 Hopper と比較して、GB300 NVL72 は、ユーザーの応答性 (ユーザーあたりの TPS) を 10 倍に高め、スループット (メガワット (MW) あたりの TPS) を 5 倍に高めます。これらの進歩により、AI ファクトリー全体の出力は 50 倍の飛躍的な進歩を実現します。

特長

技術のブレイクスルー

AI 推論

テストタイムスケーリングと AI 推論により、サービス品質と最大スループットを達成するために必要なコンピューティングが増加します。 NVIDIA Blackwell Ultra の Tensor コアは、NVIDIA Blackwell GPU と比較して 2 倍のアテンションレイヤー加速と 1.5 倍多い AI 計算浮動小数点演算/秒 (FLOPS) で強化されています。

288 GB の HBM3e

メモリ容量が大きいほど、バッチサイズの拡大とスループットパフォーマンスの最大化が実現できます。NVIDIA Blackwell Ultra GPU は、AI コンピューティングの強化と合わせて 1.5 倍の HBM3e メモリを提供し、最大のコンテキスト長に対して AI 推論のスループットを向上させます。

NVIDIA Blackwell アーキテクチャ

NVIDIA Blackwell アーキテクチャは、アクセラレーテッドコンピューティングにおいて画期的な進歩をもたらし、比類のないパフォーマンス、効率性および拡張性を実現する新時代を牽引しています。

NVIDIA ConnectX-8 SuperNIC

NVIDIA ConnectX-8 SuperNIC の入出力 (IO) モジュールは、2 台の ConnectX-8 デバイスをホストし、NVIDIA GB300 NVL72 の各 GPU に毎秒 800 ギガビット (Gb/s) のネットワーク接続を提供します。これにより、NVIDIA Quantum-X800 InfiniBand または Spectrum-X イーサネットネットワーキングプラットフォームでクラス最高のリモートダイレクトメモリアクセス (RDMA) 機能の提供が可能となり、ピーク時の AI ワークロード効率を最適化します。

NVIDIA Grace CPU

NVIDIA Grace CPU は、最新のデータセンターのワークロード向けに設計された画期的なプロセッサです。優れたパフォーマンスとメモリ帯域幅を提供し、現在の主要なサーバープロセッサの 2 倍のエネルギー効率で、優れたパフォーマンスとメモリ帯域幅を提供します。

第 5 世代 NVIDIA NVLink

アクセラレーテッドコンピューティングの可能性を最大限に引き出すには、あらゆる GPU 間でシームレスな通信が必要です。第 5 世代の NVIDIA NVLink™ は、AI 推論モデルの加速されたパフォーマンスを解き放つスケールアップインターコネクトです。

仕様

NVIDIA GB300 NVL72¹

構成	72 個の NVIDIA Blackwell Ultra GPU、36 個の NVIDIA Grace CPU
NVLink 帯域幅	130 TB/秒
高速メモリ	最大 40 TB
GPU メモリ \| 帯域幅	最大 21 TB \| 最大 576 TB/秒
CPU メモリ \| 帯域幅	最大 18 TB SOCAMM（LPDDR5X 搭載）\| 最大 14.3 TB/秒
CPU コア数	Arm Neoverse V2 コア 2,592 個
FP4 Tensor コア	1,400 \| 1,100² PFLOPS
FP8/FP6 Tensor コア	720 PFLOPS
INT8 Tensor コア	23 PFLOPS
FP16/BF16 Tensor コア	360 PFLOPS
TF32 Tensor コア	180 PFLOPS
FP32	6 PFLOPS
FP64 / FP64 Tensor コア	100 TFLOPS
1. 暫定的な仕様。変更される場合があります。特に明記されていない限り、すべての Tensor コアの仕様はスパース性を考慮しています。 2. スパース性なし。