NVIDIA GB300 NVL72

La tecnologia creata per l'era del ragionamento IA.

Disponibile a breve

Iscriviti per scoprire quando NVIDIA GB300 NVL72 sarà disponibile.

Avvisami

Leggi il comunicato stampa

Panoramica

Avvisami

Panoramica

Progettata per le prestazioni di ragionamento IA

NVIDIA GB300 NVL72 presenta un design rack-scale completamente raffreddato a liquido che armonizza le 72 GPU NVIDIA Blackwell Ultra e le 36 CPU NVIDIA Grace™ basate su Arm® in un'unica piattaforma ottimizzata per l'inferenza scalare dei tempi di test. Le fabbriche IA alimentate da GB300 NVL72 che utilizzano NVIDIA Quantum-X800 InfiniBand o Spectrum™-X Ethernet abbinate a ConnectX®-8 SuperNICS offrono un output 50 volte superiore per l'inferenza dei modelli di ragionamento rispetto alla piattaforma NVIDIA Hopper™.

Prestazioni

Scalare le fabbriche IA a livelli senza precedenti

Output della fabbrica IA NVIDIA Blackwell Ultra

DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 con disaggregazione Dynamo FP4. H100 con batching continuo FP8. Prestazioni previste soggette a modifica.

Scopri le prestazioni di ragionamento IA di nuovo livello con la piattaforma NVIDIA GB300 NVL72. Rispetto a Hopper, GB300 NVL72 offre un impressionante aumento di 10 volte nella reattività dell'utente (TPS per utente) e un miglioramento di 5 volte nel throughput (TPS per megawatt (MW)). Insieme, questi progressi si traducono in un notevole passo avanti di 50 volte nell'output generale della fabbrica IA.

Caratteristiche

Innovazioni tecnologiche

L'inferenza nel ragionamento IA

La scalabilità dei tempi di test e il ragionamento IA potenziano le capacità di calcolo necessarie per ottenere la qualità del servizio e il massimo throughput. I Tensor Core di NVIDIA Blackwell Ultra sono potenziati tramite un'accelerazione attention-layer 2 volte superiore e un numero di operazioni a virgola mobile al secondo (FLOPS) 1,5 volte superiore rispetto alle GPU NVIDIA Blackwell.

288 GB di HBM3e

La capacità di memoria superiore consente di gestire batch di dimensioni maggiori e prestazioni di throughput massime. Le GPU NVIDIA Blackwell Ultra offrono una memoria HBM3e 1,5 volte più grande in combinazione con l'ulteriore computing IA, aumentando il throughput del ragionamento IA per lunghezze di contesto maggiori.

Architettura NVIDIA Blackwell

L'architettura NVIDIA Blackwell rende possibili progressi rivoluzionari nel computing accelerato, spalancando le porte per una nuova era di prestazioni, efficienza e scalabilità, senza precedenti.

NVIDIA ConnectX-8 SuperNIC

Il modulo di input/output (IO) di NVIDIA ConnectX-8 SuperNIC ospita due dispositivi ConnectX-8, fornendo 800 gigabit al secondo (Gb/s) di connettività di rete per ogni GPU in NVIDIA GB300 NVL72. Questo offre le migliori capacità di accesso remoto alla migliore memoria diretta (RDMA) di categoria con le piattaforme di networking Ethernet NVIDIA Quantum-X800 InfiniBand o Spectrum-X, garantendo la massima efficienza dei carichi di lavoro IA.

CPU NVIDIA Grace

La CPU NVIDIA Grace è un processore rivoluzionario progettato per i carichi di lavoro dei data center moderni. Offre prestazioni e larghezza di banda di memoria eccezionali con un'efficienza energetica 2 volte superiore rispetto ai principali processori per server attuali.

NVIDIA NVLink di quinta generazione

Per sfruttare appieno il potenziale del computing accelerato, è necessaria una comunicazione fluida tra ogni GPU. L''interconnessione scalabile della quinta generazione di NVIDIA NVLink™ sfrutta le prestazioni accelerate per i modelli di ragionamento IA.

Superchip NVIDIA GB300 Grace Blackwell Ultra

Come elemento costitutivo della soluzione rack-scale NVIDIA GB300 NVL72, il superchip NVIDIA GB300 Grace Blackwell Ultra è dotato di quattro GPU NVIDIA Blackwell Ultra, due CPU Grace e quattro SuperNIC ConnectX-8. Grazie alla tecnologia NVIDIA NVLink Switch e alle DPU NVIDIA BlueField®-3, i 18 superchip si combinano in un'unica GPU gigante, creata appositamente per l'era del ragionamento IA.

Specifiche

NVIDIA GB300 NVL72¹

Configurazione	72 GPU NVIDIA Blackwell Ultra, 36 CPU NVIDIA Grace
Larghezza di banda NVLink	130 TB/s
Memoria veloce	Fino a 40 TB
Memoria GPU \| Larghezza di banda	Fino a 21 TB \| Fino a 576 TB/s
Memoria CPU \| Larghezza di banda	SOCAMM fino a 18 TB con LPDDR5X \| Fino a 14,3 TB/s
Numero di core CPU	Core Arm Neoverse V2 2.592
Tensor Core FP4	1.400 \| 1,100² PFLOPS
Tensor Core FP8/FP6	720 PFLOPS
INT8 Tensor Core	23 PFLOPS
Tensor Core FP16/BF16	360 PFLOPS
Tensor Core TF32	180 PFLOPS
FP32	6 PFLOPS
Tensor Core FP64/FP64	100 TFLOPS
1. Specifiche preliminari. Sono possibili modifiche. Tutte le specifiche Tensor Core sono da intendersi con dispersione, salvo diversa indicazione. 2. Senza dispersione.