- AWS が、NVIDIA Grace Hopper Superchip と AWS UltraCluster による拡張性を備えた、初のクラウド AI スーパーコンピューターを提供
- NVIDIA GH200 NVL32 を初めて搭載した NVIDIA DGX Cloud が、AWS で利用可能に
- NVIDIA の AI の研究開発とカスタム モデル開発のために、両社が Project Ceiba で提携し、GPU を活用した世界最速の AI スーパーコンピューターと最新の NVIDIA DGX Cloud スーパーコンピューターを構築
- NVIDIA GH200、H200、L40S および L4 GPU を活用した、新しい Amazon EC2 インスタンスにより、生成 AI、HPC、デザインおよびシミュレーションのワークロードを加速
- AWS に NVIDIA のソフトウェアが実装され、NeMo LLM フレームワーク、NeMo Retriever および BioNeMo が、カスタム モデル、セマンティック検索および創薬の発展を促進
2023 年 11 月 28 日、ラスベガス — AWS re:Invent において、Amazon.com, Inc. (NASDAQ: AMZN) の傘下企業である Amazon Web Services, Inc. とNVIDIA (NASDAQ: NVDA) は、両社の戦略的提携をさらに拡大し、顧客が生成 AI のイノベーションを促進するための、最新のインフラストラクチャ、ソフトウェアおよびサービスを提供すると発表しました。
両社は、次世代の GPU、CPU および AI ソフトウェアを搭載した NVIDIA の最新のマルチノード システムから、AWS の Nitro System による最先端の仮想化とセキュリティ、Elastic Fabric Adapter (EFA) インターコネクトおよび UltraCluster のスケーラビリティに至るまで、NVIDIA と AWS の技術の粋を結集し、基盤モデルのトレーニングや生成 AI アプリケーションの構築に理想的なソリューションを提供します。
今回の提携拡大は、初期の機械学習 (ML) のパイオニアに、テクノロジでの最先端を前進させるために必要なコンピュート性能を提供することで生成 AI の時代を後押ししてきた、両社の長年の関係に基づくものです。
すべての業界で生成 AI を加速するという、今回の提携拡大には、以下のような取組みが含まれています。
- AWS は、新しいマルチノードの NVLink™ テクノロジを搭載した NVIDIA® GH200 Grace Hopper Superchip をクラウドに実装する、初のクラウド プロバイダーとなります。NVIDIA GH200 NVL32 マルチノード プラットフォームでは、NVIDIA NVLink と NVSwitch™ テクノロジを備えた、32 基のGrace Hopper Superchip が 1 つのインスタンスに接続されます。このプラットフォームは、Amazon のパワフルなネットワーキング (EFA) で接続された、Amazon Elastic Compute Cloud (Amazon EC2) のインスタンスで利用できるようになり、高度な仮想化 (AWS Nitro System)、およびハイパースケール クラスタリング (Amazon EC2 UltraClusters) でサポートされ、両社共通の顧客が、数千の GH200 Superchip に拡張できるようにします。
- NVIDIA と AWS は、NVIDIA の AI-training-as-a-service であるNVIDIA DGX™ Cloud が AWS でホストされるように連携します。これは GH200 NVL32 を搭載した、初の DGX Cloud となり、開発者は、単一のインスタンスで最大規模の共有メモリを持てるようになります。AWS 上の DGX Cloud は、最先端の生成 AI や 1 兆パラメータを超える大規模言語モデルのトレーニングを加速します。
- NVIDIA と AWS は、GPU を搭載した世界最速の AI スーパーコンピューターを構築する Project Ceiba で連携します。このスーパーコンピューターは、GH200 NVL32 と Amazon EFA インターコネクトを搭載した大規模なシステムであり、AWS がNVIDIA 自身の研究開発チームのためにホストします。この類を見ない、初のスーパーコンピューターには、16,384 基の NVIDIA GH200 Superchip が搭載され、65 エクサフロップスの AI 処理が可能で、NVIDIA が生成 AI イノベーションの新たな波を生み出すために使用します。
- AWS は、3 つの新しい Amazon EC2 インスタンスを導入します。5e インスタンスは、NVIDIA H200 Tensor コア GPU を搭載し、大規模かつ最先端の生成 AI と HPC のワークロードに対応します。G6 と G6e のインスタンスはNVIDIA L4 GPU およびNVIDIA L40S GPU を搭載し、それぞれが、AI のファインチューニング、推論、グラフィックスとビデオのワークロードといった、幅広いアプリケーションに対応します。G6e インスタンスは、生成 AI 対応の 3D アプリケーションを接続および構築するためのプラットフォームである NVIDIA Omniverse™ を利用した、3D ワークフロー、デジタル ツインなどのアプリケーションの開発に特に適しています。
AWS の CEO である Adam Selipsky 氏は、次のように話しています。「AWS と NVIDIA は、世界初の GPU クラウド インスタンスから、13 年以上にわたって提携してきました。現在、AWS は、グラフィックス、ゲーミング、ハイ パフォーマンス コンピューティング、機械学習、そして現在の生成 AI を含むワークロード向けに、最も幅広い NVIDIA GPU ソリューションを提供しています。AWS を GPU を実行活用する最高の場所にするために、NVIDIA とともにイノベーションを続けており、次世代の NVIDIA Grace Hopper Superchip と、AWS のパワフルな EFA ネットワーキング、EC2 UltraCluster のハイパースケール クラスタリング、そして Nitro の高度な仮想化機能を組み合わせています」
NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang ) は、次のように述べています。「生成 AI は、クラウドのワークロードを変容させつつあり、多様なコンテンツ生成の基盤にアクセラレーテッド コンピューティングが採用されるようになっています。費用対効果の高い、最先端の生成 AI をあらゆる顧客に提供するという共通のミッションのもと、NVIDIA と AWS は、AI インフラストラクチャ、アクセラレーション ライブラリ、基盤モデルから、生成 AI サービスに至るまで、コンピューティング スタック全体で提携します」
新しい Amazon EC2 インスタンスが、NVIDIA および AWS の最先端テクノロジと融合
AWS は、マルチノードの NVLink テクノロジを搭載した NVIDIA GH200 Grace Hopper Superchip を提供する、初のクラウド プロバイダーとなります。それぞれの GH200 Superchip は、Arm ベースの Grace CPUとNVIDIA Hopper™ アーキテクチャ GPU を同じモジュール上に組み合わせたものです。GH200 NVL32 搭載の単一 Amazon EC2 インスタンスで、最大 20 TB の共有メモリが利用できるので、テラバイト規模のワークロードへの対応が可能となります。
これらのインスタンスは、AWS の第 3 世代の Elastic Fabric Adapter (EFA) インターコネクトを活用し、Superchip あたり最大 400 Gbps の低レイテンシで、高帯域のネットワーキング スループットを実現し、顧客は EC2 UltraClusters で数千の GH200 Superchip まで拡張可能です。
GH200 NVL32 搭載の AWS のインスタンスにより、顧客は、スーパーコンピューター クラスの性能にオンデマンド アクセスでき、これは、基盤モデル、レコメンダ システムおよびベクトル データベースなどの、複雑な AI ワークロードを複数のノードにわたって分散させる必要のある、大規模な AI/ML ワークロードにとって極めて重要となります。
NVIDIA GH200 を搭載した EC2 インスタンスは、H100 を搭載した現世代の EC2 P5d インスタンスの 7.2 倍となる、4.5 TB の HBM3e メモリを備えます。これにより、トレーニングの性能を高めながら、より大規模なモデルを実行することができます。さらに、CPU から GPU へのメモリ インターコネクトは PCIe の 7 倍の帯域幅を提供し、アプリケーションが利用可能な総メモリを拡大するチップ間通信を可能にします。
GH200 NVL32 を搭載した AWS インスタンスは、水冷システムを備えた、AWS 初の AI インフラストラクチャとなります。これにより、密度の高いサーバー ラックを最大限の性能で、効率的に運用できるようになります。
GH200 NVL32 搭載の EC2 インスタンスは、次世代の EC2 インスタンスを支えるプラットフォームである、AWS Nitro System も活用します。Nitro System は、機能の I/O をホスト CPU/GPU から専用ハードウェアにオフロードすることで、より安定したパフォーマンスを実現し、セキュリティの向上によって処理中の顧客のコードとデータを保護します。
AWS が Grace Hopper 搭載の NVIDIA DGX Cloud を初めてホスト
AWS は NVIDIA と協力して、GH200 NVL32 NVLink インフラストラクチャを搭載した NVIDIA DGX Cloud をホストします。NVIDIA DGX Cloud は、は極めて複雑な LLM および生成 AI モデルのトレーニングするためのマルチノードのスーパーコンピューティングに、企業が迅速にアクセスできるようにするための AI スーパーコンピューティング サービスであり、NVIDIA AI Enterprise ソフトウェアの利用と NVIDIA の AI エキスパートへの直接アクセスが可能です。
画期的な Project Ceiba スーパーコンピューターで、NVIDIA の AI 開発を加速
AWS と NVIDIA が構築している Project Ceiba スーパーコンピューターには、暗号化ネットワーキングのVirtual Private Cloud (VPC) や ハイパフォーマンス ブロック ストレージの Amazon Elastic Block Store といった AWS のサービスが統合されており、NVIDIA は AWS の包括的な機能を利用できるようになります。
NVIDIA は、研究開発にこのスーパーコンピューターを使い、LLM、グラフィックスとシミュレーション、デジタル生物学、ロボティクス、自動運転車、Earth-2 による気候変動予測などの分野で AI を発展させます。
NVIDIA と AWS が、生成 AI、HPC およびシミュレーションを加速
最大規模の LLM の開発、トレーニングおよび推論を促進するために、AWS P5e インスタンスは、NVIDIA の最新の H200 GPU を搭載します。H200 は 141 GB の HBM3e GPU メモリを提供し、これは H100 GPU と比べて 1.8 倍の容量を持ち、1.4 倍高速です。この GPU メモリの強化と、AWS Nitro System によって実現される 最大 3,200 Gbps の EFA ネットワーキングにより、顧客は AWS上 で最先端モデルの構築、トレーニングおよび展開を継続することができます。
費用対効果が高く、エネルギー効率に優れた、ビデオ、AI およびグラフィックス向けのソリューションを提供するために、AWS は、NVIDIA L40S GPU と L4 GPU を搭載した新しい Amazon EC2 G6e インスタンスと、L4 GPU を搭載した G6 インスタンスを発表しました。この新しい製品は、スタートアップ、企業および研究者が、AI や高忠実度のグラフィックスのニーズを満たすのに役立ちます。
G6e インスタンスは、生成 AI やデジタル ツイン アプリケーションといった複雑なワークロードを処理するために構築されています。NVIDIA Omniverse を使うことにより、フォトリアリスティックな 3D シミュレーションを開発し、AWS IoT TwinMaker、インテリジェントなチャットボット、アシスタント、検索および要約といったサービスから得られるリアルタイム データに基づいて、コンテキスト化および改良が可能になります。Amazon Robotics と Amazon Fulfillment Center は、NVIDIA Omniverse と AWS IoT で構築されたデジタル ツインを統合し、倉庫のデザインやフローの最適化、よりインテリジェントなロボット アシスタントのトレーニング、そして顧客への配送の改善ができるようになります。
L40S GPU は、最大 1.45 ペタフロップスの FP8 処理性能を持ち、最大 209 テラフロップスのレイトレーシング性能を実現するレイトレーシング コアを備えています。G6 インスタンスに搭載されている L4 GPU は、自然言語処理、言語翻訳、AI による動画と画像の解析、音声認識、パーソナライゼーション向け AI モデルを導入するための、低コストでエネルギー効率に優れたソリューションを提供します。L40S GPU は、リアルタイムの映画品質のグラフィックスの作成とレンダリング、ゲームのストリーミングなどの、グラフィックス ワークロードも加速します。これら 3 つのインスタンスはいずれも、来年に利用可能となる予定です。
AWS 上の NVIDIA ソフトウェアが生成 AI の開発を加速
さらに、NVIDIA は、AWS 上での生成 AI の開発を加速するソフトウェアを発表しました。NVIDIA NeMo™ Retriever マイクロサービスは、高速化されたセマンティック検索を使用し、正確度に優れたチャットボットや要約ツールを作成するための新たなツールです。Amazon SageMaker で現在利用可能な NVIDIA BioNeMo™ は、NVIDIA DGX Cloud 上の AWS での利用もまもなく可能になります。BioNemo を使用することで、製薬企業は自社のデータを使ったモデルのトレーニングを簡素化および加速することで、創薬をスピードアップすることができます。
AWS 上の NVIDIA ソフトウェアは、Amazon が自社のサービスとオペレーションに新たなイノベーションをもたらすのを支援しています。AWS は、NVIDIA NeMo フレームワークを使用し、次世代 Amazon Titan LLM のいくつかをトレーニングしています。Amazon Robotics は NVIDIA Omniverse Isaac の利用を開始し、倉庫を現実世界へ展開する前に、仮想空間において自律倉庫の自動化、最適化、計画のためにデジタル ツインを構築しています。