NVIDIA Blackwell Architecture

Die Transformer-Engine der zweiten Generation nutzt die maßgeschneiderte Blackwell Tensor Core-Technologie in Kombination mit NVIDIA® TensorRT™-LLMs und innovativen NeMo™-Frameworks, um die Inferenz und das Training für große Sprachmodelle (LLMs) und MoE-Modelle (Mixture of Experts) zu beschleunigen.

Zur Beschleunigung der Inferenz von MoE-Modellen bieten Blackwell Tensor Cores neue Präzisionen, einschließlich neuer von der Community definierter Microscaling-Formate. Das Ergebnis: höhere Genauigkeit und ein einfacherer Austausch für größerer Präzision. Die Blackwell Transformer Engine nutzt feinkörnige Skalierungstechniken – als Mikrotensor-Skalierung bezeichnet –, um die Leistung und Genauigkeit zu optimieren und eine 4-Bit-Gleitkomma(FP4)-AI zu ermöglichen. Dadurch werden die Leistung und Größe der Modelle der nächsten Generation, die der Arbeitsspeicher unterstützen kann, verdoppelt. Dabei bleibt die hohe Genauigkeit bestehen.

Um das volle Potenzial von Exascale-Computing und AI-Modellen mit Billionen Parametern auszuschöpfen, ist eine schnelle, nahtlose Kommunikation zwischen allen Grafikprozessoren innerhalb eines Server-Clusters erforderlich. Die fünfte Generation von NVIDIA® NVLink® ist eine Scale-up-Verbindung für bis zu 576 Grafikprozessoren, die beschleunigte Leistung für AI-Modelle mit Billionen oder mehreren Billionen Parametern bietet.

Der NVIDIA NVLink-Switch-Chip ermöglicht 130 TB/s GPU-Bandbreite in einer NVLink-Domäne mit 72 GPUs (NVL72) und bietet viermal mehr Bandbreiteneffizienz mit FP8-Unterstützung von NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™. Der NVIDIA NVLink-Switch-Chip unterstützt Cluster mit mehr als einem einzelnen Server bei denselben beeindruckenden Verbindungsgeschwindigkeiten von 1,8 TB/s. Multi-Server-Cluster mit NVLink skalieren die GPU-Kommunikation angepasst an die zunehmende Rechenleistung, sodass NVL72 den 9-fachen GPU-Durchsatz unterstützen kann als ein einzelnes System mit acht GPUs.

Blackwell bietet intelligente Ausfallsicherheit mit einer dedizierten Engine für Zuverlässigkeit, Verfügbarkeit und Wartungsfreundlichkeit (Reliability, Availability, and Serviceability, RAS), um potenzielle Fehler frühzeitig zu identifizieren und Ausfallzeiten zu minimieren. Die AI-gestützten Funktionen für vorausschauendes Management von NVIDIA überwachen kontinuierlich den allgemeinen Zustand über Tausende von Datenpunkten von Hardware und Software, um die Ursachen für Ausfallzeiten und fehlende Effizienz vorherzusagen und zu eliminieren. Dadurch entsteht eine intelligente Ausfallsicherheit, die Zeit, Energie und Rechenkosten spart.

Die RAS-Engine von NVIDIA bietet detaillierte Diagnoseinformationen, mit denen Problembereiche identifiziert und Wartungsarbeiten geplant werden können. Die RAS-Engine reduziert die Durchlaufzeit, indem sie die Ursachen von Problemen schnell lokalisiert, und minimiert Ausfallzeiten durch eine effektive Problembehebung.