NVIDIA 多執行個體 GPU
單一 GPU 擁有 7 個獨立執行個體
多執行個體 GPU (MIG) 能提高 NVIDIA H100、A100 以及 A30 Tensor 核心 GPU 的效能和價值。多執行個體 GPU 讓每個 GPU 最多能分隔成 7 個執行個體，各自完全獨立且具備個別的高頻寬記憶體、快取和運算核心。從最小到最大，管理員可以支援任何規模的工作負載，確保服務品質 (QoS)，並將加速運算資源的範圍擴展至每個使用者。
優勢概覽
技術原理
如果沒有多執行個體 GPU，在同一 GPU 上執行的不同工作，例如不同的人工智慧推論要求，會搶奪相同的資源。消耗較大記憶體頻寬的作業會佔據其他工作的資源，導致多項工作無法達成延遲度目標。有了多執行個體 GPU，多項工作就能在不同執行個體上同時執行，且全都具備運算、記憶體和記憶體頻寬的專用資源，進而透過 QoS 和最高的 GPU 使用率，達到可預期的效能。
NVIDIA H100 中的多執行個體 GPU
H100 採用 NVIDIA Hopper™ 架構，藉由在橫跨至多七個 GPU 執行個體的虛擬化環境中，支援多租用戶和多使用者設定，進一步強化多執行個體 GPU，在硬體和虛擬機器監視器層級上，使用機密運算安全隔離每個執行個體。每個多執行個體 GPU 的執行個體專用影片解碼器，能在共用基礎架構上提供安全、高傳輸量的智慧影像分析 (IVA)。管理員可以利用 Hopper 的同步多執行個體 GPU 分析，監控適當大小的 GPU 加速，並向多個使用者分派資源。
工作負載較低的研究人員，並不需要租用完整的雲端執行個體，可以使用多執行個體 GPU 安全隔離一部分 GPU，同時確保其資料在儲存、傳輸和使用時都能保持安全。如此一來，雲端服務供應商在定價與處理較少的客戶機會時，就能更有彈性。
觀看多執行個體 GPU 實際使用狀況
專為 IT 和 DevOps 打造
多執行個體 GPU 可讓 IT 和 DevOps 團隊進行縝密的 GPU 佈建。每個多執行個體 GPU 的執行個體都像應用程式的獨立 GPU 一樣運作，因此 CUDA® 平台無需變更。多執行個體 GPU 可用於所有主要企業運算環境。
多執行個體 GPU 規格
| GB200/B200/B100 | H100 | H200 | |
|---|---|---|---|
| 機密運算 | 有 | 有 | 有 |
| 執行個體類型 | Up to 7x 23GB Up to 4x 45GB Up to 2x 95GB Up to 1x 192GB |
7x 10GB 4x 20GB 2x 40GB 1x 80GB |
Up to 7x 18GB Up to 4x 35GB Up to 2x 71GB Up to 1x 141GB |
| GPU 分析和監控 | 在所有執行個體上同時執行 | 在所有執行個體上同時執行 | 在所有執行個體上同時執行 |
| 安全租用戶 | 7x | 7x | 7x |
| 媒體解碼器 | 每個執行個體專用的 NVJPEG 和 NVDEC | 每個執行個體專用的 NVJPEG 和 NVDEC | 每個執行個體專用的 NVJPEG 和 NVDEC |
初步規格可能隨時變更
深入探索 NVIDIA Blackwell 架構