NVIDIA 多執行個體 GPU

GPU 可以分隔為不同大小的 MIG 執行個體。例如，在 NVIDIA A100 40GB 中，管理員可以建立 2 個各具有 20 GB 記憶體的執行個體，也可以建立 3 個各具有 10GB 的執行個體，或是建立 7 個各具有 5GB 的執行個體，或是混合使用。

也能以動態方式重新設定多執行個體 GPU 的執行個體，使管理員能夠根據不斷變化的使用者和業務需求轉移 GPU 資源。舉例來說，白天可以使用 7 個多執行個體 GPU 執行個體進行低輸送量推論，並在夜間重新設定為 1 個大型多執行個體 GPU 執行個體，進行深度學習訓練。

每個多執行個體 GPU 的執行個體都有一組專用的硬體資源，用於運算、記憶體和快取，可提供有保障的服務品質 (QoS) 和故障隔離。這也表示，即使有一個在執行個體上執行的應用程式發生故障，也不會對其他執行個體上執行的應用程式造成影響。

同時也代表不同的執行個體可以執行不同類型的工作負載，例如互動式模型開發、深度學習訓練、人工智慧推論或高效能運算應用程式。由於同時執行執行個體，所以工作負載也在各自獨立的狀態下，於相同的實體 GPU 上同時執行。