NVIDIA マルチインスタンス GPU

GPU は様々なサイズの MIG インスタンスに分割することができます。例えば、NVIDIA GB200 では、管理者はメモリ容量が 95GB の 2 つのインスタンス、45GB の 4 つのインスタンス、または 23GB の 7 つのインスタンスを作成することができます。

MIG インスタンスは動的に再構成することも可能であり、管理者はユーザーやビジネスの需要変化に応じて GPU リソースを柔軟に調整できます。たとえば、昼はスループットの低い推論のために 7 つの MIG インスタンスを使用し、夜はディープラーニング トレーニングのために 1 つの大きな MIG インスタンスに再構成することが可能です。

専用のコンピューティング、メモリ、キャッシュのハードウェア リソースを割り当てることで、各 MIG インスタンスで QoS が確保され、故障が分離されます。つまり、あるインスタンスで実行されているアプリケーションに問題が発生しても、他のインスタンスで実行されているアプリケーションには影響が出ません。

また、対話式のモデル開発、ディープラーニング トレーニング、AI 推論、HPC アプリケーションといったさまざまな種類のワークロードを異なるインスタンスで実行できることを意味します。インスタンスが並列で実行されるため、ワークロードも同じ物理 GPU 上で並列実行されますが、分離されています。