NVIDIA Blackwell アーキテクチャ

第 2 世代 Transformer Engine は、カスタム Blackwell Tensor コア テクノロジを NVIDIA TensorRT™-LLM および NeMo™ フレームワークのイノベーションと組み合わせて使用し、大規模言語モデル (LLM) と混合エキスパート (MoE) モデルの推論と学習を加速します。Blackwell Tensor コアは、新しいコミュニティ定義のマイクロスケーリング フォーマットを含む新しい精度を付加し、高い正確性を備え、さらに高い精度への容易な置き換えを実現します。

Blackwell Ultra Tensor コアは、Blackwell GPU と比較して、2 倍のアテンションレイヤー アクセラレーションと、1.5 倍の AI コンピューティング FLOPS を実現し強化されています。Blackwell Transformer Engine は、マイクロ テンソル スケーリングと呼ばれる細粒度のスケーリング手法を活用し、パフォーマンスと精度を最適化し、4 ビット浮動小数点 (FP4) AI を実現します。これにより、高い精度を維持しながら、メモリがサポートできる次世代モデルのパフォーマンスとサイズが倍増します。

エクサスケール コンピューティングと兆単位パラメーター AI モデルの可能性を最大限に引き出すには、サーバー クラスター内の全 GPU 間での高速かつシームレスな通信が必要になります。第 5 世代の NVIDIA® NVLink® インターコネクトは最大 576 個の GPU まで拡張できて、パラメーターが 1 兆から数兆単位になる AI モデルのためにアクセラレーテッド パフォーマンスを発揮します。

NVIDIA NVLink Switch Chip は、1 つの 72-GPU NVLink ドメイン (NVL72) で 130TB/秒の GPU の帯域幅を備えることができ、NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8 をサポートすることで、4 倍の帯域幅効率を実現します。NVIDIA NVLink Switch Chip は、1 台のサーバーを超えるクラスターを同じ 1.8TB/秒の驚異的な相互接続でサポートします。NVLink を使用するマルチサーバー クラスターは、コンピューティングの増加に合わせて GPU 通信を拡張します。そのため、NVL72 は、単一の 8 基の GPU を搭載したシステムに比べて 9 倍の GPU スループットをサポートすることができます。

Blackwell は専用の RAS (信頼性、可用性、保守性) エンジンによるインテリジェントな回復性を備え、早期に発生する可能性がある潜在的障害を特定し、ダウンタイムを最小限に抑えます。NVIDIA の AI を活用した予測管理機能は、ハードウェアおよびソフトウェアの全体的な正常性を何千ものデータ ポイントで継続的に監視し、ダウンタイムや非効率性の発生源を予測し、阻止します。これにより、時間、電力、コンピューティング コストを節約するインテリジェントな回復性が与えられます。

NVIDIA の RAS エンジンは詳しい診断情報を提供し、懸念される領域を特定し、メンテナンスを計画できます。この RAS エンジンは、問題の原因を速やかに特定することでターンアラウンド タイムを短縮し、効果的な修正を促進することでダウンタイムを最小限に抑えます。