マルチインスタンス GPU (MIG) は、NVIDIA H100、A100、A30 Tensor コア GPU のパフォーマンスと価値を高めます。MIG では、GPU を 7 個ものインスタンスに分割し、それぞれに高帯域幅のメモリ、キャッシュ、コンピューティング コアを割り当てたうえで完全に分離できます。これによりサービス品質 (QoS) が保証され、 アクセラレーテッド コンピューティング リソースをあらゆるユーザーに届けることができ、管理者はあらゆるワークロードに対応できます。
MIG を使用しない場合、同じ GPU で実行されている複数のジョブ (各種の AI 推論リクエストなど) が、同一のリソースをめぐって競合することになります。メモリ帯域幅を多く消費するジョブがあると、他のジョブに十分な帯域幅を割り当てられなくなり、目標とするレイテンシを達成できないジョブがいくつか発生してしまいます。MIG を使用すれば、複数のインスタンスでジョブが同時に実行され、それぞれに専用のコンピューティング リソース、メモリ、メモリ帯域幅が割り当てられるため、パフォーマンスが予測可能になり、QoS が確保され、GPU が最大限まで活用されます。
NVIDIA Hopper™ アーキテクチャ、H100 は MIG の機能を強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソースを複数のユーザーに割り当てることができます。
研究者のワークロードが比較的少ない場合、完全なクラウド インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、使用中のデータが安全なため、安心です。これにより、クラウド サービス プロバイダーの柔軟性が向上し、より少ない顧客機会に価格を設定し、対処することができます。
MIG では、IT と DevOps のチームが GPU を細かくプロビジョニングできます。各 MIG インスタンスは、アプリケーションに対してスタンドアロン GPU のように振る舞います。そのため、CUDA® プラットフォームに変更はありません。MIG は、すべての主要なエンタープライズ コンピューティング環境で使用できます。
GB200/B200/B100 | H100 | H200 | |
---|---|---|---|
コンフィデンシャル コンピューティング | 対応 | 対応 | 対応 |
インスタンスの種類 | 最大 7x 23GB 最大 4x 45GB 最大 2x 95GB 最大 1x 192GB |
7x 10GB 4x 20GB 2x 40GB 1x 80GB |
最大 7x 18GB 最大 4x 35GB 最大 2x 71GB 最大 1x 141GB |
GPU のプロファイリングと監視 | すべてのインスタンスで同時実行 | すべてのインスタンスで同時実行 | すべてのインスタンスで同時実行 |
テナントの保護 | 7x | 7x | 7x |
メディア デコーダー | インスタンスあたりの専用 NVJPEG と NVDEC | インスタンスあたりの専用 NVJPEG と NVDEC | インスタンスあたりの専用 NVJPEG と NVDEC |
仕様は変更される場合があります。
NVIDIA Blackwell アーキテクチャの詳細を見る