NVIDIA GB200 NVL2

NVIDIA Blackwell アーキテクチャは、アクセラレーテッド コンピューティングに画期的な進歩をもたらし、比類のないパフォーマンス、効率性、スケールでコンピューティングの新時代のパワーになっています。

NVIDIA Grace CPU は、AI、クラウド、ハイパフォーマンス コンピューティング (HPC) アプリケーションを実行する最新のデータ センター向けに設計された画期的なプロセッサです。現代の主要なサーバー プロセッサと比べて電力効率が 2 倍となり、パフォーマンスとメモリ帯域幅に優れています。

NVIDIA NVLink-C2C は、各 Grace CPU と Blackwell GPU を 900GB/秒 でコヒーレントに相互接続します。GB200 NVL2 は、NVLink-C2C と第 5 世代 NVLink の両方を使用し、AI を加速するための 1.4 TB コヒーレント メモリ モデルを提供します。

キーバリュー (KV) キャッシングは、会話のコンテキストと履歴を保持することにより、LLM の応答速度を向上させます。GB200 NVL2 は、PCIe より 7 倍高速な NVLink-C2C で接続された完全にコヒーレントな Grace GPUと Blackwell GPU メモリを通して KV キャッシングを最適化し、LLM が x86 ベースの GPU 実装より高速に単語を予測できるようにします。

エクサスケール コンピューティングや兆単位パラメーターの AI モデルの可能性を最大限に引き出すには、サーバー クラスター内のすべての GPU 間で高速かつシームレスな通信が必要となります。第 5 世代の NVLink はスケールアップ インターコネクトであり、1 兆から数兆単位のパラメーターの AI モデルでパフォーマンスを高速化します

データ センターのネットワークは、分散 AI モデルのトレーニングと生成 AI パフォーマンスのバックボーンとして機能し、AI の進化とパフォーマンスを推進する上で重要な役割を果たします。NVIDIA Quantum-X800 InfiniBand、NVIDIA Spectrum™-X800 Ethernet、NVIDIA BlueField®-3 DPUs は、数百から数千単位の Blackwell GPU で効率的なスケーラビリティを可能にし、アプリケーション パフォーマンスを最適化します。