コンピューティングの新時代をあらゆるデータ センターにもたらします。
NVIDIA GB200 Grace™ Blackwell NVL2 プラットフォームは、あらゆるデータ センターに新しい時代のコンピューティングをもたらし、2 基の Blackwell GPU と 2 基のGrace CPU を通じて、主流の大規模言語モデル (LLM) 推論、ベクトル データベース検索、データ処理に比類のないパフォーマンスを提供します。スケールアウト型のシングルノード NVIDIA MGX™ アーキテクチャを採用した設計により、さまざまなシステム設計とネットワーキング オプションが可能になり、アクセラレーテッド コンピューティングを既存のデータ センター インフラにシームレスに統合できます。
ハイライト
Llama3 LLM 推論: トークン間遅延 (TTL) = 50 ミリ秒 (ms) リアルタイム、最初のトークン遅延 (FTL) = 2 秒、入力シーケンス長 = 2.048、出力シーケンス長 = 128 出力、8x NVIDIA HGX™ H100 空冷 vs. GB200 NVL2 空冷シングル ノード、GPU あたりのパフォーマンス比較
NVIDIA Grace CPU と Blackwell GPU が共有するメモリを使用した、RAG パイプライン内のベクトル データベース検索性能。1x x86、1x H100 GPU、および GB200 NVL2 ノードの 1x GPU。
データ処理: TPC-H Q4 クエリから派生した Snappy/Deflate 圧縮によるデータベースの結合および集約ワークロード。GB200 NVL2 ノードからの x86、H100 シングル GU、シングル GPU のカスタム クエリ実装: GB200 vs. Intel Xeon 8480+
予想されるパフォーマンスは変更される可能性があります。
特長
NVIDIA Blackwell アーキテクチャは、アクセラレーテッド コンピューティングに画期的な進歩をもたらし、比類のないパフォーマンス、効率性、スケールでコンピューティングの新時代のパワーになっています。
NVIDIA Grace CPU は、AI、クラウド、ハイパフォーマンス コンピューティング (HPC) アプリケーションを実行する最新のデータ センター向けに設計された画期的なプロセッサです。現代の主要なサーバー プロセッサと比べて電力効率が 2 倍となり、パフォーマンスとメモリ帯域幅に優れています。
NVIDIA NVLink-C2C は、各 Grace CPU と Blackwell GPU を 900GB/秒 でコヒーレントに相互接続します。GB200 NVL2 は、NVLink-C2C と第 5 世代 NVLink の両方を使用し、AI を加速するための 1.4 TB コヒーレント メモリ モデルを提供します。
キーバリュー (KV) キャッシングは、会話のコンテキストと履歴を保持することにより、LLM の応答速度を向上させます。GB200 NVL2 は、PCIe より 7 倍高速な NVLink-C2C で接続された完全にコヒーレントな Grace GPUと Blackwell GPU メモリを通して KV キャッシングを最適化し、LLM が x86 ベースの GPU 実装より高速に単語を予測できるようにします。
エクサスケール コンピューティングや兆単位パラメーターの AI モデルの可能性を最大限に引き出すには、サーバー クラスター内のすべての GPU 間で高速かつシームレスな通信が必要となります。第 5 世代の NVLink はスケールアップ インターコネクトであり、1 兆から数兆単位のパラメーターの AI モデルでパフォーマンスを高速化します
データ センターのネットワークは、分散 AI モデルのトレーニングと生成 AI パフォーマンスのバックボーンとして機能し、AI の進化とパフォーマンスを推進する上で重要な役割を果たします。NVIDIA Quantum-X800 InfiniBand、NVIDIA Spectrum™-X800 Ethernet、NVIDIA BlueField®-3 DPUs は、数百から数千単位の Blackwell GPU で効率的なスケーラビリティを可能にし、アプリケーション パフォーマンスを最適化します。
仕様
構成 | 2x Grace CPU、2x Blackwell GPU |
FP4 Tensor コア² | 40 PFLOPS |
FP8/FP6 Tensor コア² | 20 PFLOPS |
INT8 Tensor コア² | 20 POPS |
FP16/BF16 Tensor コア² | 10 PFLOPS |
TF32 Tensor コア² | 5 PFLOPS |
FP32 | 180 TFLOPS |
FP64/FP64 Tensor コア | 90 TFLOPS |
GPU メモリ | 帯域幅 | 最大 384GB | 16TB/秒 |
CPU コア数 | 144 個の Arm® Neoverse V2 コア |
LPDDR5X メモリ | 帯域幅 | 最大 960GB | 最大 1,024GB/秒 |
相互接続 | NVLink: 1.8TB/秒 NVLink-C2C: 2x 900GB/秒 PCIe Gen6: 2x 256GB/秒 |
サーバー オプション | NVIDIA MGX を使用したさまざまな NVIDIA GB200 NVL2 構成オプション |
1 参考仕様。変更される場合があります。 |
NVIDIA GB200 NVL72 は 1 つのラックスケール デザインで 36 個の GB200 Superchip を接続します。 GB200 NVL72 は水冷式のラックスケール ソリューションであり、72-GPU NVLink ドメインが 1 基の大きな GPU として機能します。
今すぐ始める
登録すると、NVIDIA Blackwell の販売開始時にお知らせいたします。