45:56
NVIDIA GB300 NVL72
Entwickelt für das Zeitalter des KI-Reasoning.
Demnächst erhältlich
Melden Sie sich an, um benachrichtigt zu werden, sobald die NVIDIA GB300 NVL72 erhältlich ist.
Überblick
Entwickelt für KI-Reasoning-Leistung
Die NVIDIA GB300 NVL72 weist ein vollständig flüssigkeitsgekühltes Rack-Design auf, das 72 NVIDIA Blackwell Ultra GPUs und 36 Arm®-basierte NVIDIA Grace™ CPUs in einer einzigen Plattform vereint, die für Skalierungsinferenz in der Testzeit optimiert ist. KI-Fabriken, die mit der GB300 NVL72 und NVIDIA Quantum-X800 InfiniBand oder Spectrum™-X Ethernet in Verbindung mit ConnectX®-8 SuperNICS ausgestattet sind, bieten im Vergleich zur NVIDIA Hopper™ Plattform eine 50-mal höhere Leistung für Reasoning-Modellinferenz.
Leistung
Skalierung von KI-Fabriken auf ein beispielloses Niveau
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 mit FP4 Dynamo Disaggregation. H100 mit FP8 In-Flight-Batching. Die projizierte Leistung kann Änderungen unterliegen.
Erleben Sie KI-Reasoning-Leistung auf einem neuen Niveau mit der NVIDIA GB300 NVL72 Plattform. Im Vergleich zu Hopper bietet die GB300 NVL72 eine beeindruckende 10-fache Verbesserung der Benutzerreaktionsfähigkeit (TPS pro Benutzer) und eine 5-fache Verbesserung des Durchsatzes (TPS pro Megawatt (MW)). Zusammen führen diese Fortschritte zu einem bemerkenswerten 50-fachen Sprung der Gesamtleistung für KI-Fabriken.
Eigenschaften
Technologische Durchbrüche
KI-Reasoning-Inferenz
Skalierung in der Testzeit und KI-Reasoning erhöhen die Rechenleistung, die für hohe Servicequalität und einen maximalen Durchsatz erforderlich ist. Die Tensor-Recheneinheiten von NVIDIA Blackwell Ultra sorgen für eine doppelt so hohe Beschleunigung auf der Aufmerksamkeitsebene und 1,5-mal mehr KI-Compute-Gleitkomma-Operationen pro Sekunde (FLOPS) im Vergleich zu NVIDIA Blackwell-GPUs.
288 GB HBM3e
Die größere Arbeitsspeicherkapazität erlaubt größere Batches und maximale Durchsatzleistung. NVIDIA Blackwell Ultra-GPUs bieten 1,5-mal mehr HBM3e-Speicher in Kombination mit zusätzlicher KI-Rechenleistung und steigern so den KI-Reasoning-Durchsatz bei besonders großen Kontextlängen.
NVIDIA Blackwell-Architektur
Die NVIDIA Blackwell-Architektur sorgt für bahnbrechende Fortschritte beim beschleunigten Computing und leitet eine neue Ära beispielloser Leistung, Effizienz und Skalierbarkeit ein.
NVIDIA ConnectX-8 SuperNIC
Das Ein-/Ausgabe-Modul (IO) der NVIDIA ConnectX-8 SuperNIC beherbergt zwei ConnectX-8-Geräte und bietet 800 Gbit/s an Netzwerkkonnektivität für jede GPU in der NVIDIA GB300 NVL72. Das ermöglicht erstklassige RDMA-Funktionen (Remote Direct Memory Access) mit entweder NVIDIA Quantum-X800 InfiniBand- oder Spectrum-X Ethernet-Netzwerkplattformen und somit eine maximale Effizienz von KI-Workloads.
NVIDIA Grace-CPU
Die NVIDIA Grace-CPU ist ein bahnbrechender Prozessor, der für moderne Workloads in Rechenzentren entwickelt wurde. Sie überzeugt durch herausragende Leistung und Speicherbandbreite mit der 2-fachen Energieeffizienz der führenden Serverprozessoren von heute.
NVIDIA NVLink der 5. Generation
Das Erschließen des vollen Potenzials von beschleunigtem Computing setzt eine nahtlose Kommunikation zwischen allen GPUs voraus. Die fünfte Generation von NVIDIA NVLink™ ist eine Scale-up-Verbindung, die beschleunigte Leistung für KI-Reasoning-Modelle ermöglicht.
NVIDIA GB300 Grace Blackwell Ultra Superchip
Als Baustein für die NVIDIA GB300 NVL72-Rack-Lösung verfügt der NVIDIA GB300 Grace Blackwell Ultra Superchip über vier NVIDIA Blackwell Ultra-GPUs, zwei Grace-CPUs und vier ConnectX-8-SuperNICs. Mittels NVIDIA NVLink-Switch-Technologie und NVIDIA BlueField®-3-DPUs werden 18 Superchips zu einer riesigen GPU kombiniert, die speziell für das Zeitalter des KI-Reasoning entwickelt wurde.
Technische Daten
NVIDIA GB300 NVL72¹
| Konfiguration: | 72 NVIDIA Blackwell Ultra-GPUs, 36 NVIDIA Grace-CPUs |
| Bandbreite von NVLink | 130 TB/s |
| Schneller Arbeitsspeicher | Bis zu 40 TB |
| GPU-Speicher | Bandbreite | Bis zu 21 TB | Bis zu 576 TB/s |
| CPU-Speicher | Bandbreite | Bis zu 18 TB SOCAMM mit LPDDR5X | Bis zu 14,3 TB/s |
| Anzahl der CPU-Recheneinheiten | 2.592 Arm Neoverse V2-Recheneinheiten |
| FP4 Tensor-Recheneinheit | 1.400 | 1.100² PFLOPS |
| FP8/FP6 Tensor-Recheneinheit | 720 PFLOPS |
| INT8-Tensor-Recheneinheit | 23 PFLOPS |
| FP16/BF16 Tensor-Recheneinheit | 360 PFLOPS |
| TF32-Tensor-Recheneinheit | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| FP64 / FP64 Tensor-Recheneinheit | 100 TFLOPS |
|
1. Vorläufige technische Daten. Änderungen vorbehalten. Alle technischen Daten für Tensor-Recheneinheiten sind, sofern nicht anders angegeben, mit Sparsity. |
|
Ressourcen
Mehr erfahren über Grace Blackwell
-
Blogs
-
Veranstaltungen
Jetzt starten
Bleiben Sie auf dem Laufenden
Melden Sie sich an, um benachrichtigt zu werden, sobald die NVIDIA GB300 NVL72 verfügbar ist.
Bleiben Sie auf dem Laufenden über NVIDIA News
Melden Sie sich an, um aktuelle Nachrichten, Updates und mehr von NVIDIA zu erhalten.