NVIDIA HGX-Plattform
Beschleunigung fortschrittlicher KI in jedem Rechenzentrum.
Speziell für KI und High-Performance-Computing entwickelt
KI, komplexe Simulationen und riesige Datenmengen erfordern mehrere GPUs mit extrem schnellen Verbindungen und einem vollständig beschleunigten Softwarestack. Die NVIDIA HGX™-Plattform vereint die volle Leistung von NVIDIA GPUs, NVIDIA NVLink™, NVIDIA Netzwerktechnik und vollständig optimierten KI- und HPC-Softwarestacks (High-Performance-Computing), um die höchstmögliche Anwendungsleistung und schnellste Zeit zur Erkenntnisgewinnung für jedes Rechenzentrum bereitzustellen.
Unerreichte End-to-End-Plattform für beschleunigtes Computing
NVIDIA HGX B300 NVL16 integriert NVIDIA Blackwell Ultra GPUs mit Hochgeschwindigkeitsverbindungen, um Rechenzentren mit noch nie dagewesener Rechenleistung und generativer KI zu versorgen. Auf Blackwell basierende HGX-Systeme sind als führende beschleunigte Skalierungsplattformen mit bis zu 11-mal mehr Inferenzleistung als bei der vorherigen Generation für enorm anspruchsvolle generative KI-, Datenanalyse- und HPC-Workloads konzipiert.
NVIDIA HGX umfasst fortschrittliche Netzwerkoptionen mit Geschwindigkeiten von bis zu 800 Gigabit pro Sekunde (Gbit/s) und NVIDIA Quantum-X800 InfiniBand und Spectrum™-X Ethernet für erstklassige KI-Leistung. HGX enthält außerdem NVIDIA BlueField®-3 DPUs (Data Processing Units), um Cloud-Netzwerke, zusammensetzbaren Datenspeicher, Zero-Trust-Sicherheit und GPU-Computing-Elastizität in Hyperscale-KI-Clouds zu ermöglichen.
KI-Reasoning-Inferenz: Leistung und Vielseitigkeit
Die voraussichtliche Leistung kann Änderungen unterliegen. Token-zu-Token-Latenz (TTL) = 20 ms Echtzeit, Latenz des ersten Tokens (FTL) = 5 s, Länge der Eingabesequenz = 32.768, Länge der Ausgabesequenz = 1.028, 8 x luftgekühlte Acht-Wege-HGX H100 GPUs im Vergleich zu 1 x luftgekühlte HGX B300 NVL16, Leistungsvergleich pro GPU; Bereitstellung mittels verteilter Inferenz.
Inferenz für große Sprachmodelle in Echtzeit
HGX B300 NVL16 erreicht eine bis zu 11-mal höhere Inferenzleistung im Vergleich zur vorherigen NVIDIA Hopper™ Generation für Modelle wie Llama 3.1 405B. Die Transformer-Engine der zweiten Generation nutzt benutzerdefinierte Blackwell-Tensor-Core-Technik in Kombination mit TensorRT™-LLM-Innovationen, um die Inferenz für große Sprachmodelle (LLMs) zu beschleunigen.
KI-Training: Leistung und Skalierbarkeit
Prognostizierte Leistung kann sich ändern. Leistungsvergleich pro Grafikprozessor: 8x Eight-Way HGX H100 vs. 1x HGX B300 NVL16.
Trainingsleistung auf höchstem Niveau
Die zweite Generation der Transformer-Engine mit 8-Bit-Gleitkomma-Technologie (FP8) und neuen Präzisionen ermöglicht ein bemerkenswertes 4-mal schnelleres Training für große Sprachmodelle wie Llama 3.1 405B. Ergänzt wird dieser Durchbruch durch NVLink der fünften Generation mit 1,8 TB/s GPU-zu-GPU-Verbindung, InfiniBand-Netzwerken und NVIDIA Magnum IO™-Software. n Kombination sorgen sie für effiziente Skalierbarkeit für Unternehmen und umfangreiche GPU-Computing-Cluster.
Beschleunigung von HGX mit NVIDIA Networking
Das Rechenzentrum ist die Recheneinheit der Zukunft und Netzwerke spielen eine wesentliche Rolle bei der Skalierung der Anwendungsleistung im gesamten Rechenzentrum. In Verbindung mit NVIDIA Quantum InfiniBand bietet HGX erstklassige Leistung und Effizienz, um die Rechenressourcen voll auszulasten.
In KI-Cloud-Rechenzentren mit Ethernet sollte HGX am besten mit der NVIDIA Spectrum-X™-Netzwerkplattform kombiniert werden, die in Verbindung mit Ethernet die bestmögliche KI-Leistung bietet. Sie verfügt über Spectrum-X-Switches und NVIDIA SuperNIC™ für eine optimale Ressourcennutzung und Leistungsisolierung. Zudem sorgt sie für konsistente, vorhersehbare Ergebnisse für Tausende von gleichzeitigen KI-Jobs jeder Größenordnung. Spectrum-X ermöglicht fortschrittliche Cloud-Mehrmandantenfähigkeit und Zero-Trust-Sicherheit. NVIDIA hat als Referenzdesign Israel-1 entwickelt, einen auf generativer KI basierenden Hyperscale-Supercomputer entwickelt, der mit Dell PowerEdge XE9680-Servern ausgestattet ist, die wiederum auf der NVIDIA HGX 8-GPU-Plattform, BlueField-3 SuperNICs und Spectrum-4-Switches basieren.
Technische Daten zu NVIDIA HGX
NVIDIA HGX ist in einzelnen Hauptplatinen mit vier oder acht Hopper-GPUs, acht NVIDIA Blackwell-GPUs oder sechzehn Blackwell Ultra-GPUs erhältlich. Diese leistungsstarken Kombinationen aus Hard- und Software bilden den Grundstein für eine beispiellose KI-Supercomputing-Leistung.
-
Blackwell
-
Hopper
| HGX B300 NVL16 | HGX B200 | |
|---|---|---|
| Formfaktor | 16 x NVIDIA Blackwell Ultra GPU | 8 x NVIDIA Blackwell-GPU |
| FP4 Tensor-Core** | 144 PFLOPS | 105 PFLOPS | 144 PFLOPS | 72 PFLOPS |
| FP8/FP6 Tensor Core* | 72 PFLOPS | 72 PFLOPS |
| INT8 Tensor Core* | 2 POPS | 72 POPS |
| FP16/BF16 Tensor Core* | 36 PFLOPS | 36 PFLOPS |
| TF32 Tensor Core* | 18 PFLOPS | 18 PFLOPS |
| FP32 | 600 TFLOPS | 600 TFLOPS |
| FP64/FP64 Tensor Core | 10 TFLOPS | 296 TFLOPS |
| Gesamtspeicher | Bis zu 2,3 TB | 1,4 TB |
| NVLink | Fünfte Generation | Fünfte Generation |
| NVIDIA NVSwitch™ | NVLink 5 Switch | NVLink 5 Switch |
| NVSwitch-Bandbreite für Verbindungen zwischen GPUs | 1,8 TB/s | 1,8 TB/s |
| Gesamte NVLink-Bandbreite | 14,4 TB/s | 14,4 TB/s |
* Mit geringer Dichte
** Mit geringer Dichte | ohne geringe Dichte
Erfahren Sie mehr über die NVIDIA Blackwell-Architektur.