NVIDIA Grace Blackwell GB200

NVIDIA GB200 NVL72

Impulsando la nueva era de la IA generativa.

Desbloqueo de Modelos de Billones de Parámetros en Tiempo Real

GB200 NVL72 conecta 36 CPU Grace y 72 GPU Blackwell en un diseño a escala de rack. El GB200 NVL72 es una solución a escala de rack refrigerada por líquido que cuenta con un dominio NVLink de 72 GPU que actúa como una única GPU masiva y ofrece un tiempo real 30 veces más rápido para la inferencia LLM de billones de parámetros.

El Superchip GB200 Grace Blackwell es un componente clave de NVIDIA GB200 NVL72, que conecta dos GPU NVIDIA Blackwell Tensor Core de alto rendimiento y una CPU NVIDIA Grace mediante la interconexión NVIDIA® NVLink®-C2C a las dos GPU Blackwell.

La Arquitectura de Escala de Rack de Blackwell para la Inferencia y el Entrenamiento de Billones de Parámetros en Tiempo Real

El NVIDIA GB200 NVL72 es una computadora a exaescala en un solo rack. Con 36 GB200 interconectados por el dominio NVIDIA® NVLink® más grande jamás ofrecido, el Sistema de Switch NVLink proporciona 130 terabytes por segundo (TB/s) de comunicaciones GPU de baja latencia para cargas de trabajo de IA y computación de alto rendimiento (HPC).

Destacados

Potenciando la IA de Próxima Generación y la Computación Acelerada

Inferencia LLM

30X

Entrenamiento LLM

4X

Eficiencia Energética

25X

Procesamiento de Datos

18X

Inferencia LLM y eficiencia energética: TTL = 50 milisegundos (ms) en tiempo real, FTL = 5000 ms, 32 000 entradas/1000 salidas, NVIDIA HGX™ H100 ampliado sobre InfiniBand (IB) frente a GB200 NVL72, entrenamiento de 1,8 T MOE HGX H100 ampliado IB frente a GB200 NVL72 escalado sobre IB.
Tamaño del grupo: 30.000
Consulta 4 de TPC-H: GB200 frente a Intel Xeon 8480+
Rendimiento proyectado sujeto a cambios.

Inferencia LLM en Tiempo Real

GB200 NVL72 presenta capacidades de vanguardia y un Transformer Engine de segunda generación que habilita FP4 AI y, cuando se combina con NVIDIA NVLink de quinta generación, ofrece un rendimiento de inferencia LLM en tiempo real 30 veces más rápido para modelos de lenguaje de billones de parámetros. Este avance es posible gracias a una nueva generación de Tensor Cores, que introducen nuevos formatos de microescala, lo que brinda alta precisión y mayor rendimiento. Además, el GB200 NVL72 utiliza NVLink y refrigeración líquida para crear un único rack masivo de 72 GPU que puede superar los cuellos de botella en las comunicaciones.

Capacitación a Gran Escala

GB200 incluye un Transformer Engine más rápido con precisión FP8, lo que permite un entrenamiento notable 4 veces más rápido para grandes modelos de lenguaje a escala. Este avance se complementa con NVLink de quinta generación, que proporciona 1,8 terabytes por segundo (TB/s) de interconexión de GPU a GPU, redes InfiniBand y software NVIDIA Magnum IO™.

Infraestructura Energéticamente Eficiente

Los racks GB200 NVL72 con refrigeración líquida reducen la huella de carbono y el consumo de energía de un data center. La refrigeración líquida aumenta la densidad de computación, reduce la cantidad de espacio utilizado y facilita la comunicación de GPU de gran ancho de banda y baja latencia con grandes arquitecturas de dominio NVLink. En comparación con la infraestructura refrigerada por aire H100, GB200 ofrece 25 veces más rendimiento con la misma potencia y reduce el consumo de agua.

Procesamiento de Datos

Las bases de datos desempeñan funciones fundamentales en el manejo, procesamiento y análisis de grandes volúmenes de datos para las empresas. GB200 aprovecha el rendimiento de la memoria de gran ancho de banda, NVLink-C2C y los motores de descompresión dedicados en la arquitectura NVIDIA Blackwell para acelerar las consultas clave de bases de datos 18 veces en comparación con la CPU y ofrecer un TCO 5 veces mejor.

Características

Avances Tecnológicos

Arquitectura Blackwell

La arquitectura NVIDIA Blackwell ofrece avances innovadores en computación acelerada, definiendo la nueva era de la computación con rendimiento, eficiencia y escala incomparables.

CPU NVIDIA Grace

El Superchip de CPU NVIDIA Grace es un procesador innovador diseñado para data centers modernos que ejecutan aplicaciones de inteligencia artificial, nube y computación de alto rendimiento (HPC). Proporciona un rendimiento excepcional y un ancho de banda de memoria con el doble de eficiencia energética que los procesadores de servidor líderes en la actualidad.

NVIDIA NVLink de Quinta Generación

Liberar todo el potencial de la computación a exaescala y los modelos de IA de billones de parámetros requiere una comunicación rápida y fluida entre cada GPU de un clúster de servidores. La quinta generación de NVLink es una interconexión ampliada que libera un rendimiento acelerado para modelos de IA con billones y multimillones de parámetros.

Redes NVIDIA

La red del data center desempeña un papel crucial a la hora de impulsar los avances y el rendimiento de la IA, sirviendo como columna vertebral para el entrenamiento de modelos de IA distribuidos y el rendimiento de la IA generativa. NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum-X800 Ethernet y las DPU NVIDIA BlueField-3 permiten una escalabilidad eficiente en cientos y miles de GPU Blackwell para un rendimiento óptimo de las aplicaciones.

Especificaciones

Especificaciones de GB200 NVL7211

  GB200 NVL72 Superchip GB200 Grace Blackwell
Configuração 36 CPU Grace: 72 GPU Blackwell 1 CPU Grace: 2 GPU Blackwell
FP4 Tensor Core2 1.440 PFLOPS 40 PFLOPS
Núcleo Tensor FP8/FP622 720 PFLOPS 20 PFLOPS
Núcleo Tensor INT82 720 POPS 20 POPS
FP16/BF16 Tensor Core2 360 PFLOPS 10 PFLOPS
TF32 Tensor Core 180 PFLOPS 5 PFLOPS
FP32 6,480 TFLOPS 180 TFLOPS
FP64 3,240 TFLOPS 90 TFLOPS
Núcleo Tensor FP64 3.240 TFLOPS 90 TFLOPS
Memoria de GPU | Ancho de Banda Hasta 13,5TB HBM3e | 576TB/s Hasta 384 GB HBM3e | 16TB/s
Ancho de Banda NVLink 130TB/s 3.6TB/s
Recuento de Núcleos de CPU 2.592 Arm® Neoverse V2 cores 72 Arm Neoverse V2 cores
Memoria de CPU | Ancho de Banda Hasta 17TB LPDDR5X | Hasta 18.4TB/s Hasta 480GB LPDDR5X | Hasta 512 GB/s

Empezar

Estar al Día

Regístrese para saber cuándo NVIDIA Blackwell estará disponible.