Mehr-Instanzen-Grafikprozessor von NVIDIA
Sieben unabhängige Instanzen in einem einzelnen Grafikprozessor.
Multi-Instance-GPU (MIG) erhöht die Leistung und den Wert von NVIDIA Blackwell- und Hopper-Grafikprozessoren der TM-Generation. MIG kann den Grafikprozessor in bis zu sieben Instanzen aufteilen, die vollständig isoliert ausgeführt werden und über eigene Speicher-, Cache- und Recheneinheiten mit hoher Bandbreite verfügen. So können Administratoren jeden Workload unterstützen, egal wie groß oder klein, mit garantierter Servicequalität (QoS). Die Verfügbarkeit beschleunigter Computing-Ressourcen auf alle Nutzer wird dadurch erweitert.
Vorteile Übersicht
Funktionsweise der Technologie
Ohne MIG konkurrieren verschiedene Aufgaben, die auf demselben Grafikprozessor ausgeführt werden, wie unterschiedliche KI-Inferenzanforderungen, um dieselben Ressourcen. Durch eine Aufgabe, die mehr Speicherbandbreite beansprucht, steht für andere Aufgaben weniger zur Verfügung, sodass mehrere Aufgaben ihre Latenzzielwerte verfehlen. Mit MIG werden Aufgaben gleichzeitig in verschiedenen Instanzen ausgeführt, jeweils mit dedizierten Ressourcen für Rechenleistung, Arbeitsspeicher und Speicherbandbreite, was zu einer vorhersehbaren Leistung mit hoher QoS und maximaler GPU-Auslastung führt.
MIG in Blackwell-Grafikprozessoren
Blackwell- und Hopper-Grafikprozessoren unterstützen MIG mit mandantenfähigen Multi-User-Konfigurationen in virtualisierten Umgebungen für bis zu sieben Grafikprozessorinstanzen, wobei jede Instanz durch Confidential Computing sicher auf Hardware- und Hypervisorebene isoliert ist. Dedizierte Videodecoder für jede MIG-Instanz erlauben intelligente Videoanalysen (IVA) mit hohem Durchsatz auf gemeinsam genutzter Infrastruktur. Mit dem gleichzeitigen MIG-Profiling können Administratoren die korrekt dimensionierte Grafikprozessorbeschleunigung überwachen und Ressourcen für mehrere Benutzer zuweisen.
Forscher mit kleineren Workloads können MIG anstelle einer vollständigen Cloud-Instanz verwenden, um einen Teil eines Grafikprozessors sicher zu isolieren, und sich dabei darauf verlassen, dass ihre Daten bei Lagerung, Übertragung und Nutzung geschützt sind. Dadurch wird die Flexibilität für Cloud-Service-Anbieter erhöht, kleinere Kundenpotenziale zu bedienen und preiswerter zu sein.
MIG in Aktion
Speziell für IT und DevOps entwickelt
MIG ermöglicht die gezielte und effiziente Bereitstellung von Grafikprozessorleistung durch IT- und DevOps-Teams. Jede MIG-Instanz verhält sich gegenüber Anwendungen wie ein eigenständiger Grafikprozessor, sodass es nicht zu Änderungen an der CUDA®-Plattform kommt. MIG kann in allen bedeutenden Computing-Umgebungen von Unternehmen verwendet werden.
MIG-Spezifikationen
| Blackwell-Ultra-GPU | Blackwell-GPU* | H100-GPU | |
|---|---|---|---|
| Confidential computing | Ja | Ja | Ja |
| Instanztypen | Bis zu 7 x 34 GB Bis zu 4 x 70 GB Bis zu 2 x 140 GB Bis zu 1 x 288 GB |
Bis zu 7 x 23 GB Bis zu 4 x 45 GB Bis zu 2 x 95 GB Bis zu 1 x 192 GB |
7x 10 GB 4x 20 GB 2x 40 GB 1x 80 GB |
| GPU-Profiling und -Überwachung | Gleichzeitig bei allen Instanzen | Gleichzeitig bei allen Instanzen | Gleichzeitig bei allen Instanzen |
| Sichere Mandanten | 7 x | 7 x | 7 x |
| Mediendecoder | Eigene NVJPEG- und NVDEC-Technik pro Instanz | Eigene NVJPEG- und NVDEC-Technik pro Instanz | Eigene NVJPEG- und NVDEC-Technik pro Instanz |
Vorläufige Daten, Änderungen möglich. *Konfigurationen für Blackwell-GPUs im GB200 NVL72. Die MIG-Konfigurationen für Blackwell-GPUs im HGX B200 sind kleiner. Weitere Informationen finden Sie in der technischen Dokumentation.
Informieren Sie sich eingehender über MIG.
