世界のAIインフラストラクチャ向けの新しいエンジンである NVIDIA H100 GPU が 飛躍的なパフォーマンス向上を実現
カリフォルニア州サンタクララ—GTC— 2022 年 3 月 22 日—NVIDIA は本日、NVIDIA Hopper™ アーキテクチャを搭載した次世代のアクセラレーテッド コンピューティング プラットフォームを発表しました。Hopper は前世代のパフォーマンスからの飛躍的向上を実現し、AI データセンターの次の波を推進します。
米国の先駆的なコンピューター科学者である Grace Hopper (グレース ホッパー) にちなんで名付けられたこの新しいアーキテクチャは、2 年前に発表された NVIDIA Ampere アーキテクチャを継承しています。
NVIDIA は同時に、800 億のトランジスタを搭載した最初の Hopper ベースの GPU である NVIDIA H100 を発表しました。 世界最大かつ最も強力なアクセラレータである H100 は、革新的な Transformer Engine や巨大な AI 言語モデル、ディープ レコメンダー システム、ゲノミクス、複雑なデジタル ツインを進化させるための高い拡張性を備えた NVIDIA NVLink® 相互接続などの画期的な機能を備えています。
NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) は次のように述べています。「データセンターは AI ファクトリーになりつつあり、膨大な量のデータを処理および改良してインテリジェンスを生成しています。NVIDIA H100 は、企業が AI ドリブンのビジネスを加速するために使用する世界の AI インフラストラクチャのエンジンです」
H100 のテクノロジ ブレイクスルー
NVIDIA H100 GPU は、大規模な AI と HPC を加速する新しい標準を設定し、6 つの画期的なイノベーションを実現しています。
- 世界で最も先進的なチップ —最先端の TSMC 4N プロセスを使用して 800 億のトランジスタで構築されており、NVIDIA のアクセラレーテッド コンピューティングのニーズ向けに設計されています。H100 は、AI、HPC、メモリ帯域幅、相互接続、通信を高速化するために大きく進歩した機能を備えており、これには毎秒 5 テラバイト近くの外部接続が含まれます。 H100 は、PCIe Gen5 をサポートする最初の GPU、かつ HBM3 を利用する最初の GPU でもあり、3TB/s のメモリ帯域幅を実現します。20 基の H100 GPU は、全世界のインターネット トラフィックに相当する転送量を維持できるため、顧客はリアルタイムでデータの推論を実行する高度なレコメンダー システムと大規模な言語モデルを提供できます。
- 新しい Transformer Engine — 現在、自然言語処理の標準モデルの選択肢である Transformer は、これまでに発明された中で最も重要なディープラーニング モデルの1つです。 H100 アクセラレータの Transformer Engine は、精度を損なうことなく、これらのネットワークを前世代の 6 倍も高速化するように構築されています。
- 第 2 世代の Secure Multi-Instance GPU — MIG テクノロジにより、単一の GPU を 7 つの小さな独立したインスタンスに分割し、多様なジョブを処理できます。 Hopper アーキテクチャは、各 GPU インスタンスのクラウド環境で安全なマルチテナント構成を提供することにより、MIG の能力を前世代の最大 7 倍に拡張します。
- コンフィデンシャル コンピューティング— H100 は、処理中に AI モデルと顧客データを保護するコンフィデンシャル コンピューティング機能を備えた世界初のアクセラレータです。顧客は、共有クラウド インフラストラクチャだけでなく、ヘルスケアや金融サービスなどプライバシーに特に敏感な業界のために、連合学習 (Federated Learning) にコンフィデンシャル コンピューティングを適用することも可能です。
- 第 4 世代 NVIDIA NVLink — 最大規模の AI モデルを高速化するために、NVLink は新しい外部 NVLink Switch と組み合わせて、サーバーを超えたスケールアップ ネットワークとして NVLink を拡張し、NVIDIA HDR Quantum InfiniBand を使用する前世代の 9 倍の帯域幅で最大 256 基の H100 GPU を接続します。
- DPX 命令 —新しい DPX 命令は、ルート最適化やゲノミクスを含む幅広いアルゴリズムで使用される動的計画法を、CPU と比較して最大 40 倍、前世代の GPU と比較して最大 7 倍高速化します。これには、動的な倉庫環境で自律動作ロボット群の最適なルートを見つけるための Floyd-Warshall アルゴリズム、および DNA やタンパク質の分類と折りたたみのシーケンス アラインメントで使用される Smith-Waterman アルゴリズムが含まれます。
H100 の技術的革新は、NVIDIA の AI 推論とトレーニングにおけるリーダーシップを拡張し、巨大な AI モデルを使用したリアルタイムで没入型のアプリケーションが可能になります。 H100 は、世界で最も強力なモノリシック Transformer 言語モデルである Megatron 530B を使用したチャットボットを可能にし、リアルタイムの対話型 AI に求められる 1 秒未満の遅延を満たしながら、前世代の GPU の最大30 倍のスループットを実現します。 H100 により、研究者や開発者は、Mixture of Experts などの大規模なモデルを 3,950 億のパラメーターで最大 9 倍高速にトレーニングできるため、トレーニング時間が数週間から数日に短縮されます。
NVIDIA H100 の幅広い採用
NVIDIA H100 は、オンプレミス、クラウド、ハイブリッド クラウド、エッジなど、あらゆる種類のデータセンターに導入できます。今年後半には、世界をリードするクラウドサービス プロバイダーやコンピューター メーカー、および NVIDIA から直接入手できるようになる予定です。
NVIDIA の第 4 世代の DGX™ システムである DGX H100 は、8 基の H100 GPU を搭載し、新しい FP8 精度で 32 ペタフロップスの AI パフォーマンスを提供します。大規模言語モデル、レコメンダー システム、ヘルスケア研究、気候科学の大規模なコンピューティング要件を満たすスケールを実現します。
DGX H100 システムのすべての GPU は、前世代に比べ 1.5 倍となる 900GB/s の帯域幅を持つ第 4 世代の NVLink によって接続されます。また、 NVSwitch™ により、8 基の H100 GPU すべてが NVLink を介して接続されています。 外部 NVLink Switch により、次世代の NVIDIA DGX SuperPOD™ スーパーコンピューターでは最大 32 台の DGX H100 ノードがネットワーク接続されます。
Hopper は、業界の幅広い支持を受け、主要なクラウドサービス プロバイダーである Alibaba Cloud、Amazon Web Services、Baidu AI Cloud、Microsoft Azure、Oracle Cloud、TencentCloud などが H100 ベースのインスタンスを提供予定です。
また、世界をリードするシステム メーカーの Atos、BOXX Technologies、Cisco、Dell Technologies、富士通、GIGABYTE、New H3C Information Technologies、Hewlett Packard Enteprise、Inspur Electronic Information、Lenovo、Nettrix、Supermicro から、H100 アクセラレータを搭載したさまざまなサーバーの提供が予定されています。
あらゆる規模の NVIDIA H100
H100 は SXM および PCIe のフォームファクタで提供され、幅広いサーバー設計要件をサポートします。 H100 GPU を NVIDIA ConnectX®-7 400Gb/s InfiniBand および Ethernet SmartNIC と組み合わせたコンバージド アクセラレータも利用可能になります。
NVIDIA の H100 SXM は、サーバー内および複数のサーバーにまたがる複数の GPU にアプリケーションを拡張する企業向けに、4 ウェイおよび 8 ウェイ構成の HGX™ H100 サーバー ボードで利用可能になります。 HGX H100 ベースのサーバーは、データ分析および HPC アプリケーションとともに、AI トレーニングおよび推論のための最高のアプリケーション パフォーマンスを提供します。
H100 PCIe は、PCIe 5.0 の 7 倍以上の帯域幅で 2 基の GPU を接続する NVLink を備え、主要なエンタープライズ サーバーで実行されるアプリケーションに卓越したパフォーマンスを提供します。 そのフォームファクタにより、既存のデータセンター インフラストラクチャへの統合が容易になります。
新しいコンバージド アクセラレータである H100 CNX は、H100 と ConnectX-7 SmartNIC を組み合わせ、企業のデータセンターでの、マルチノード AI トレーニングやエッジでの 5G 信号処理など、I/O 集約型のアプリケーションに画期的なパフォーマンスを提供します。
NVIDIA Hopper アーキテクチャ ベースの GPU は、PCIe 5.0 と比較して CPU と GPU 間の通信が 7 倍以上高速になる、超高速の NVLink-C2C 相互接続を備えた NVIDIA Grace™ CPU と組み合わせることも可能です。 この組み合わせ (Grace Hopper Superchip) は、巨大な規模の HPC および AI アプリケーションに対応するために設計された統合モジュールです。
NVIDIA ソフトウェア のサポート
NVIDIA H100 GPU は、開発者や企業が AI から HPC までのアプリケーションを構築および高速化できるようにする強力なソフトウェア ツールによってサポートされています。 これには、音声、レコメンダー システム、ハイパースケール推論などのワークロード向けの NVIDIA AI ソフトウェア スイートの大幅なアップデートが含まれます。
NVIDIA はまた、量子コンピューティングや 6G 研究、サイバー セキュリティ、ゲノミクス、創薬のワークロードを加速するために、ライブラリ、ツール、テクノロジを含む CUDA-X™ コレクションに 60 を超えるアップデートをリリースしました。
提供予定
NVIDIA H100 は、第 3 四半期から提供開始を予定しています。
NVIDIA Hopper および H100 の詳細については、ジェンスン フアンの GTC 2022 基調講演のリプレイをご覧ください。 GTC 2022 に無料で登録し、NVIDIA および業界のリーダーによるセッションに参加してください。
NVIDIA について
1999 年における NVIDIA (NASDAQ表示: NVDA) による GPU の発明は、PC ゲーミング市場の成長に爆発的な拍車をかけ、現代のコンピューター グラフィックス、ハイパフォーマンス コンピューティング、そして人工知能 (AI) を再定義しました。NVIDIA のアクセラレーテッド コンピューティングと AI における先駆的な取り組みは、輸送、ヘルスケア、製造業などの数兆ドル規模の産業を再構築し、その他のさまざまな産業の拡大も加速させています。
詳細は、こちらのリンクから：https://nvidianews.nvidia.com/