45:56
NVIDIA GB300 NVL72
La tecnologia creata per l'era del ragionamento IA.
Disponibile a breve
Iscriviti per scoprire quando NVIDIA GB300 NVL72 sarà disponibile.
Panoramica
Progettata per le prestazioni di ragionamento IA
NVIDIA GB300 NVL72 presenta un design rack-scale completamente raffreddato a liquido che armonizza le 72 GPU NVIDIA Blackwell Ultra e le 36 CPU NVIDIA Grace™ basate su Arm® in un'unica piattaforma ottimizzata per l'inferenza scalare dei tempi di test. Le fabbriche IA alimentate da GB300 NVL72 che utilizzano NVIDIA Quantum-X800 InfiniBand o Spectrum™-X Ethernet abbinate a ConnectX®-8 SuperNICS offrono un output 50 volte superiore per l'inferenza dei modelli di ragionamento rispetto alla piattaforma NVIDIA Hopper™.
Prestazioni
Scalare le fabbriche IA a livelli senza precedenti
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 con disaggregazione Dynamo FP4. H100 con batching continuo FP8. Prestazioni previste soggette a modifica.
Scopri le prestazioni di ragionamento IA di nuovo livello con la piattaforma NVIDIA GB300 NVL72. Rispetto a Hopper, GB300 NVL72 offre un impressionante aumento di 10 volte nella reattività dell'utente (TPS per utente) e un miglioramento di 5 volte nel throughput (TPS per megawatt (MW)). Insieme, questi progressi si traducono in un notevole passo avanti di 50 volte nell'output generale della fabbrica IA.
Caratteristiche
Innovazioni tecnologiche
L'inferenza nel ragionamento IA
La scalabilità dei tempi di test e il ragionamento IA potenziano le capacità di calcolo necessarie per ottenere la qualità del servizio e il massimo throughput. I Tensor Core di NVIDIA Blackwell Ultra sono potenziati tramite un'accelerazione attention-layer 2 volte superiore e un numero di operazioni a virgola mobile al secondo (FLOPS) 1,5 volte superiore rispetto alle GPU NVIDIA Blackwell.
288 GB di HBM3e
La capacità di memoria superiore consente di gestire batch di dimensioni maggiori e prestazioni di throughput massime. Le GPU NVIDIA Blackwell Ultra offrono una memoria HBM3e 1,5 volte più grande in combinazione con l'ulteriore computing IA, aumentando il throughput del ragionamento IA per lunghezze di contesto maggiori.
Architettura NVIDIA Blackwell
L'architettura NVIDIA Blackwell rende possibili progressi rivoluzionari nel computing accelerato, spalancando le porte per una nuova era di prestazioni, efficienza e scalabilità, senza precedenti.
NVIDIA ConnectX-8 SuperNIC
Il modulo di input/output (IO) di NVIDIA ConnectX-8 SuperNIC ospita due dispositivi ConnectX-8, fornendo 800 gigabit al secondo (Gb/s) di connettività di rete per ogni GPU in NVIDIA GB300 NVL72. Questo offre le migliori capacità di accesso remoto alla migliore memoria diretta (RDMA) di categoria con le piattaforme di networking Ethernet NVIDIA Quantum-X800 InfiniBand o Spectrum-X, garantendo la massima efficienza dei carichi di lavoro IA.
CPU NVIDIA Grace
La CPU NVIDIA Grace è un processore rivoluzionario progettato per i carichi di lavoro dei data center moderni. Offre prestazioni e larghezza di banda di memoria eccezionali con un'efficienza energetica 2 volte superiore rispetto ai principali processori per server attuali.
NVIDIA NVLink di quinta generazione
Per sfruttare appieno il potenziale del computing accelerato, è necessaria una comunicazione fluida tra ogni GPU. L''interconnessione scalabile della quinta generazione di NVIDIA NVLink™ sfrutta le prestazioni accelerate per i modelli di ragionamento IA.
Superchip NVIDIA GB300 Grace Blackwell Ultra
Come elemento costitutivo della soluzione rack-scale NVIDIA GB300 NVL72, il superchip NVIDIA GB300 Grace Blackwell Ultra è dotato di quattro GPU NVIDIA Blackwell Ultra, due CPU Grace e quattro SuperNIC ConnectX-8. Grazie alla tecnologia NVIDIA NVLink Switch e alle DPU NVIDIA BlueField®-3, i 18 superchip si combinano in un'unica GPU gigante, creata appositamente per l'era del ragionamento IA.
Specifiche
NVIDIA GB300 NVL72¹
| Configurazione | 72 GPU NVIDIA Blackwell Ultra, 36 CPU NVIDIA Grace |
| Larghezza di banda NVLink | 130 TB/s |
| Memoria veloce | Fino a 40 TB |
| Memoria GPU | Larghezza di banda | Fino a 21 TB | Fino a 576 TB/s |
| Memoria CPU | Larghezza di banda | SOCAMM fino a 18 TB con LPDDR5X | Fino a 14,3 TB/s |
| Numero di core CPU | Core Arm Neoverse V2 2.592 |
| Tensor Core FP4 | 1.400 | 1,100² PFLOPS |
| Tensor Core FP8/FP6 | 720 PFLOPS |
| INT8 Tensor Core | 23 PFLOPS |
| Tensor Core FP16/BF16 | 360 PFLOPS |
| Tensor Core TF32 | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| Tensor Core FP64/FP64 | 100 TFLOPS |
|
1. Specifiche preliminari. Sono possibili modifiche. Tutte le specifiche Tensor Core sono da intendersi con dispersione, salvo diversa indicazione. |
|
Risorse
Scopri di più su Grace Blackwell
-
Blog
-
Sessioni
Inizia
Ricevi gli ultimi aggiornamenti
Iscriviti per sapere quando NVIDIA GB300 NVL72 sarà disponibile.
Ricevi le ultime notizie di NVIDIA
Iscriviti per ricevere le ultime notizie, gli aggiornamenti e altro da NVIDIA.
