NVIDIA GB200 NVL72

GB200 NVL72 introduce funzionalità all'avanguardia e un Transformer Engine di seconda generazione, che consente l'IA FP4. Se abbinata a NVIDIA NVLink di quinta generazione, offre prestazioni di inferenza LLM in tempo reale 30 volte più veloci per modelli linguistici da trilioni di parametri. Questo progresso è reso possibile da una nuova generazione di Tensor Core che introducono nuovi formati di microscaling, offrendo alta precisione e maggiore throughput. Inoltre, GB200 NVL72 utilizza NVLink e il raffreddamento a liquido per creare un singolo rack da 72 GPU di grandi dimensioni in grado di superare i colli di bottiglia della comunicazione.

GB200 NVL72 include un Transformer Engine di seconda generazione più veloce, con la precisione FP8, che consente uno straordinario addestramento 4 volte più rapido e su larga scala per modelli linguistici di grandi dimensioni. Questa innovazione è integrata da NVLink di quinta generazione, che fornisce 1,8 TB/s di interconnessione da GPU a GPU, networking InfiniBand e il software NVIDIA Magnum IO™.

I rack GB200 NVL72 raffreddati a liquido riducono l'impronta di carbonio e il consumo di energia di un data center. Il raffreddamento a liquido aumenta la densità di calcolo, riduce la quantità di spazio utilizzato e facilita la comunicazione GPU ad alta larghezza di banda e bassa latenza con le architetture di dominio NVLink di grandi dimensioni. Rispetto all'infrastruttura raffreddata ad aria NVIDIA H100, GB200 offre 25 volte più prestazioni alla stessa potenza, riducendo al contempo il consumo di acqua.

I database, ricoprono ruoli critici nella gestione, nell'elaborazione e nell'analisi di grandi volumi di dati per le imprese. GB200 sfrutta l'alta larghezza di banda NVLink-C2C e i motori di decompressione dedicati dell'architettura NVIDIA Blackwell per accelerare le principali query del database di 18 volte rispetto alla CPU e fornire un TCO 5 volte superiore.