NVIDIA GB200 NVL72

GB200 introduce funzionalità all'avanguardia e un motore di inferenza che, abbinato a NVIDIA® NVLink di quinta generazione, offre prestazioni di inferenza LLM in tempo reale 30 volte più veloci per modelli di linguaggio con miliardi di parametri. Questo miglioramento è reso possibile con una nuova generazione di Tensor Core, che introducono nuove precisioni FP4 in microscaling. Inoltre, GB200 NVL72 utilizza NVLink e il raffreddamento a liquido per creare un singolo enorme rack da 72 GPU in grado di superare i colli di bottiglia della comunicazione.

GB200 include un Transformer Engine più veloce con precisione FP8, che consente un training 4 volte più veloce per modelli linguistici di grandi dimensioni su larga scala. Questa innovazione è completata da NVLink di quinta generazione, che fornisce 1,8 terabyte al secondo (TB/s) di interconnessione GPU-GPU, rete InfiniBand e software NVIDIA Magnum IO™.

I rack GB200 NVL72 con raffreddamento a liquido riducono l'impronta di carbonio e il consumo energetico del data center. Il raffreddamento a liquido aumenta la densità di calcolo, riduce l'ingombro utilizzato e facilita la comunicazione tra GPU ad alta larghezza di banda e a bassa latenza con le architetture di dominio NVLink. Rispetto all'infrastruttura H100 con raffreddamento ad aria, GB200 offre prestazioni 30 volte superiori con gli stessi requisiti di alimentazione, riducendo il consumo di acqua di oltre 13 volte.

I database, ricoprono ruoli critici nella gestione, nell'elaborazione e nell'analisi di grandi volumi di dati per le imprese. GB200 sfrutta l'alta larghezza di banda NVLink-C2C e i motori di decompressione dedicati dell'architettura NVIDIA Blackwell per accelerare le principali query del database di 18 volte rispetto alla CPU e fornire un TCO 5 volte superiore.