Impulsamos la nueva era de la computación.
GGB200 NVL72 conecta 36 unidades CPU Grace y 72 GPU Blackwell en un diseño a escala de rack con refrigeración líquida. Dispone de un dominio NVLink de 72 GPU que actúa como una GPU única y masiva, y proporciona una inferencia de modelos lingüísticos de gran tamaño (LLM) de billones de parámetros en tiempo real, 30 veces más rápida.
El superchip GB200 Grace Blackwell es un componente clave de NVIDIA GB200 NVL72, que conecta dos GPU con núcleo Tensor NVIDIA Blackwell de alto rendimiento y una CPU NVIDIA Grace™ mediante la interconexión NVIDIA NVLink™-C2C a las dos GPU Blackwell.
Aspectos destacados
Inferencia de LLM y eficiencia energética: TTL= 50 milisegundos (ms) en tiempo real, FTL= 5 s, 32 768 entradas/1024 salidas, NVIDIA HGX™ H100 escalada sobre InfiniBand (IB) frente a GB200 NVL72, entrenamiento de HGX H100 de 4096x MOE 1.8T escalada sobre IB frente a GB200 NVL72 de 456x escalada sobre IB. Tamaño del clúster: 32 768
Una carga de trabajo de agregación y unión a bases de datos con compresión Snappy/Deflate derivada de la consulta TPC-H Q4. Implementaciones de consulta personalizadas para una sola GPU x86, H100 y una sola GPU de GB200 NLV72 frente a Intel Xeon 8480+
Rendimiento previsto sujeto a cambios.
Características
El superchip NVIDIA GB200 Grace Blackwell NVL4 hace posible el futuro de la convergencia de IA y HPC, al ofrecer un rendimiento revolucionario mediante cuatro GPU NVIDIA Blackwell conectadas por NVLink™ unificadas con dos CPU Grace sobre NVLink-C2C.
Especificaciones
GB200 NVL72 | GB200 Grace Blackwell Superchip | |
Configuración | 36 CPU Grace: 72 GPU Blackwell | 1 CPU Grace: 2 GPU Blackwell |
Tensor Core de FP41 | 1440 PFLOPS | 40 PFLOPS |
Tensor Core de FP8/FP61 | 720 PFLOPS | 20 PFLOPS |
Tensor Core de INT81 | 720 POPS | 20 POPS |
Tensor Core de FP16/BF161 | 360 PFLOPS | 10 PFLOPS |
Tensor Core de TF32 | 180 PFLOPS | 5 PFLOPS |
FP32 | 5760 TFLOPS | 160 TFLOPS |
FP64 | 2880 TFLOPS | 80 TFLOPS |
Tensor Core de FP64 | 2880 TFLOPS | 80 TFLOPS |
Memoria GPU | Ancho de banda | HBM3e de hasta 13,4 TB | 576 TB/s | HBM3e de hasta 372 GB | 16 TB/s |
Ancho de banda NVLink | 130 TB/s | 3,6 TB/s |
Recuento de núcleos de CPU | 2592 núcleos Arm® Neoverse V2 | 72 núcleos Arm® Neoverse V2 |
Memoria GPU | Ancho de banda | LPDDR5X de hasta 17 TB | Hasta 18,4 TB/s | LPDDR5X de hasta 480 GB | Hasta 512 GB/s |
1. Con dispersión. |