Mehr-Instanzen-Grafikprozessor von NVIDIA

Ein Grafikprozessor kann in verschiedene MIG-Instanzen aufgeteilt werden. Ein Administrator könnte beispielsweise mit einem NVIDIA H100 zwei Instanzen mit je 40 GB Speicher oder vier Instanzen mit je 20 GB oder sieben Instanzen mit je 10 GB erstellen oder eine Kombination.

MIG-Instanzen können auch dynamisch neu konfiguriert werden, sodass Administratoren die GPU-Ressourcen an wechselnde Nutzer- und Geschäftsanforderungen anpassen können. Sieben MIG-Instanzen können z. B. tagsüber zur Inferenz mit geringem Durchsatz verwendet werden und für das Deep-Learning-Training in der Nacht zu einer großen MIG-Instanz umkonfiguriert werden.

Mit einem dedizierten Satz von Hardwareressourcen für Rechenleistung, Speicher und Cache bietet jede MIG-Instanz garantierte QoS- und Fehlerisolierung. Das bedeutet, dass sich ein Fehler in einer Anwendung, die auf einer Instanz ausgeführt wird, nicht auf Anwendungen auf anderen Instanzen auswirkt.

Unterschiedliche Instanzen können auch verschiedene Arten von Workloads ausführen: interaktive Modellentwicklung, Deep-Learning-Training, KI-Inferenz oder HPC-Anwendungen. Da die Instanzen parallel ausgeführt werden, laufen die Workloads ebenfalls parallel – jedoch getrennt und isoliert – auf demselben physischen Grafikprozessor.