デンバー—SC23—2023 年11 月13 日 — NVIDIA は本日、NVIDIA HGX™ H200 の導入により、世界をリードする AI コンピューティング プラットフォームを強化したことを発表しました。NVIDIA Hopper™ アーキテクチャに基づくこのプラットフォームは、生成 AI およびハイ パフォーマンス コンピューティング ワークロード向けに、大量のデータを処理するための先進のメモリを備えた、NVIDIA H200 Tensor コア GPU を搭載しています。
NVIDIA H200 は、HBM3e を提供する最初の GPU です。HBM3e は、より高速で大容量のメモリであり、HPC ワークロード向けの科学コンピューティングを進歩させながら、生成 AI と大規模言語モデルの高速化を促進します。HBM3e を搭載した NVIDIA H200 は、毎秒 4.8 テラバイトで 141 GB のメモリを提供します。これは、前世代の NVIDIA A100 に比べてほぼ 2 倍の容量と、2.4 倍増加した帯域幅を実現しています。
H200 搭載システムは、世界の主要なサーバー メーカーやクラウド サービス プロバイダーから 2024 年の第 2 四半期に出荷が開始される予定です。
NVIDIA のハイパースケールおよび HPC 担当 バイス プレジデントのイアン バック (Ian Buck) は次のように述べています。「生成 AI および HPC アプリケーションでインテリジェンスを作成するには、大容量で高速な GPU メモリを使用して、膨大な量のデータを高速で効率的に処理する必要があります。NVIDIA H200 により、業界をリードするエンドツーエンドの AI スーパーコンピューティング プラットフォームがより高速になり、世界で最も重要な課題のいくつかを解決するでしょう」
永続的なイノベーション、永続的なパフォーマンスの飛躍
NVIDIA Hopper アーキテクチャは、前世代と比較して前例のないパフォーマンスの飛躍的な向上を実現し、NVIDIA TensorRT™-LLM などの強力なオープンソース ライブラリの最近のリリースを含む、H100 による継続的なソフトウェア機能強化を通じて基準を引き上げ続けます。
H200 の導入により、700 億パラメータの LLM である Llama 2 の推論速度では、H100 と比較してほぼ 2 倍になるなど、パフォーマンスはさらに飛躍的に向上します。将来のソフトウェア アップデートにより、H200 を使用したパフォーマンスの優位性のさらなる向上と改善が期待されます。
NVIDIA H200 のフォームファクター
NVIDIA H200 は、4 ウェイ構成および 8 ウェイ構成の NVIDIA HGX H200 サーバー ボードで提供されます。これらは、HGX H100 システムのハードウェアとソフトウェアの両方と互換性があります。8 月に発表された、HBM3e 搭載の NVIDIA GH200 Grace Hopper™ Superchip としても利用可能です。
これらのオプションを使用して、H200 をオンプレミス、クラウド、ハイブリッド クラウド、エッジなど、あらゆるタイプのデータセンターに導入できます。ASRock Rack、ASUS、Dell Technologies、Eviden、GIGABYTE、Hewlett Packard Enterprise、Lenovo、QCT、Supermicro、Wistron、Wiwynn を含むパートナー サーバー メーカーの NVIDIA のグローバル エコシステムは、既存のシステムを H200 で更新することができます。
CoreWeave、Lambda、Vultr に加えて、Amazon Web Services、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure も、来年から H200 ベースのインスタンスを導入する最初のクラウド サービス プロバイダーとなります。
NVIDIA NVLink™ および NVSwitch™ 高速インターコネクトを搭載した HGX H200 は、1,750 億パラメータを超える最大モデルの LLM のトレーニングや推論など、さまざまなアプリケーション ワークロードで最高のパフォーマンスを提供します。
8 ウェイ HGX H200 は、32 ペタフロップスを超える FP8 ディープラーニング コンピューティングと、合計 1.1 TB の高帯域幅メモリを提供し、生成 AI および HPC アプリケーションに最高のパフォーマンスを提供します。
超高速な NVLink-C2C インターコネクトを備えた NVIDIA Grace™ CPU と組み合わせると、H200 は、HBM3e 搭載の GH200 Grace Hopper Superchip となり、巨大スケールの HPC および AI アプリケーションに対応するように設計された統合モジュールとなります。
NVIDIA フルスタック ソフトウェアで AI を加速
NVIDIA のアクセラレーテッド コンピューティング プラットフォームは、開発者や企業が AI から HPC まで本稼働対応のアプリケーションを構築および高速化できる強力なソフトウェア ツールによってサポートされています。これには、音声、レコメンダー システム、ハイパースケール推論などのワークロード向けの NVIDIA AI Enterprise ソフトウェア スイートが含まれます。
提供時期
NVIDIA H200 は、2024 年の第 2 四半期から世界のシステム メーカーおよびクラウド サービス プロバイダーから入手可能になります。
NVIDIA H200 Tensor コア GPU の詳細については、11 月 13 日午前 6 時 (太平洋標準時) に行われるイアン バックの SC23 特別講演をご覧ください。