NVIDIA Grace Blackwell GB200

NVIDIA GB200 NVL72

Impulsamos la nueva era de la computación.

Descubrir modelos de billones de parámetros en tiempo real

GGB200 NVL72 conecta 36 unidades CPU Grace y 72 GPU Blackwell en un diseño a escala de rack con refrigeración líquida. Dispone de un dominio NVLink de 72 GPU que actúa como una GPU única y masiva, y proporciona una inferencia de modelos lingüísticos de gran tamaño (LLM) de billones de parámetros en tiempo real, 30 veces más rápida.

El superchip GB200 Grace Blackwell es un componente clave de NVIDIA GB200 NVL72, que conecta dos GPU con núcleo Tensor NVIDIA Blackwell de alto rendimiento y una CPU NVIDIA Grace™ mediante la interconexión NVIDIA NVLink™-C2C a las dos GPU Blackwell.

La arquitectura a escala de bastidor Blackwell para la inferencia y el entrenamiento de billones de parámetros en tiempo real

NVIDIA GB200 NVL72 es un ordenador de exaescala en un único bastidor. Con 36 GB200 interconectados por el mayor dominio NVIDIA® NVLink® jamás ofrecido, el sistema de conmutadores NVLink proporciona 130 terabytes por segundo (TB/s) de comunicaciones de GPU de baja latencia para cargas de trabajo de IA y computación de alto rendimiento (HPC).

Aspectos destacados

Impulsar la IA de próxima generación y la computación acelerada

Inferencia de LLM

30 veces

Entrenamiento de LLM

4 veces

Eficiencia energética

25 veces

Procesamiento de datos

18 veces

Inferencia de LLM y eficiencia energética: TTL= 50 milisegundos (ms) en tiempo real, FTL= 5 s, 32 768 entradas/1024 salidas, NVIDIA HGX™ H100 escalada sobre InfiniBand (IB) frente a GB200 NVL72, entrenamiento de HGX H100 de 4096x MOE 1.8T escalada sobre IB frente a GB200 NVL72 de 456x escalada sobre IB. Tamaño del clúster: 32 768
Una carga de trabajo de agregación y unión a bases de datos con compresión Snappy/Deflate derivada de la consulta TPC-H Q4. Implementaciones de consulta personalizadas para una sola GPU x86, H100 y una sola GPU de GB200 NLV72 frente a Intel Xeon 8480+
Rendimiento previsto sujeto a cambios.

Gráfico de rendimiento de inferencia de LLM en tiempo real

Inferencia de LLM en tiempo real

GB200 NVL72 incorpora capacidades ultraavanzadas y un motor transformador de segunda generación que habilitan la IA FP4. Cuando se utiliza conjuntamente con NVIDIA NVLink de 5.ª generación, proporciona un rendimiento de inferencia de LLM en tiempo real 30 veces más rápido para modelos lingüísticos de billones de parámetros. Este avance es posible gracias a una nueva generación de núcleos Tensor, que aportan nuevos formatos de microescalado, lo cual proporciona una alta precisión y una mayor capacidad de procesamiento. Además, la GB200 NVL72 utiliza NVLink y refrigeración líquida para crear un bastidor único y masivo de 72 GPU que puede superar los problemas de cuellos de botella de comunicación.

Gráfico de rendimiento de entrenamiento a escala masiva

Entrenamiento a escala masiva

GB200 NVL72 incluye un motor transformador de segunda generación más rápido, con precisión FP8, que posibilita un entrenamiento extraordinariamente 4 veces más rápido para modelos lingüísticos de gran tamaño a escala. Esta evolución técnica se complementa con la quinta generación de NVLink, que proporciona 1,8 TB/s de interconexión de GPU a GPU, redes InfiniBand y el software NVIDIA Magnum IO™.

Gráfico de rendimiento de infraestructura energéticamente eficiente

Infraestructura energéticamente eficiente

Los bastidores GB200 NVL72 con refrigeración líquida reducen la huella de carbono y el consumo de energía de los centros de datos. La refrigeración líquida incrementa la densidad de computación, reduce la cantidad de espacio en el suelo utilizado y facilita la comunicación de las unidades GPU de alto ancho de banda y baja latencia con grandes arquitecturas de dominio NVLink. En comparación con la infraestructura refrigerada por aire NVIDIA H100, GB200 proporciona un rendimiento 25 veces superior con la misma potencia, al tiempo que reduce el consumo de agua.

Gráfico de rendimiento de procesamiento de datos

Procesamiento de datos

Las bases de datos desempeñan un papel fundamental en la gestión, el procesamiento y el análisis de grandes volúmenes de datos para las empresas. GB200 aprovecha el alto ancho de banda de NVLink-C2C y los motores de descompresión dedicados de la arquitectura NVIDIA Blackwell para acelerar 18 veces las consultas de bases de datos clave en comparación con la CPU y ofrecer un coste total de la propiedad (TCO) 5 veces mejor.

Características

Technological Breakthroughs

Icono de IA de arquitectura Blackwell

Arquitectura Blackwell

La arquitectura NVIDIA Blackwell ofrece avances revolucionarios en computación acelerada, y define la nueva era de la IA generativa con un rendimiento, eficiencia y escala sin precedentes.

Icono de CPU Grace

CPU NVIDIA Grace

NVIDIA Grace CPU Superchip es un procesador revolucionario diseñado para centros de datos modernos que ejecutan aplicaciones de IA, en la nube y HPC. Ofrece un rendimiento y un ancho de banda de memoria extraordinarios con una eficiencia energética 2 veces superior a la de los principales procesadores de servidores actuales.

Icono de NVSwitch

NVIDIA NVLink de quinta generación

El aprovechamiento de todo el potencial de la computación a exaescala y de los modelos de IA con billones de parámetros exige una comunicación rápida y fluida entre cada GPU de un clúster de servidores. La quinta generación de NVLink es una interconexión a escala vertical que propicia un rendimiento acelerado para modelos de IA de billones de parámetros.

NVIDIA Networking DPU Icon

NVIDIA Networking

La red del centro de datos desempeña un papel crucial en el impulso de los avances y el rendimiento de la IA, y sirve de columna vertebral para el entrenamiento de modelos de IA distribuidos y el rendimiento de la IA generativa.  Las DPU NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum™-X800 Ethernet y NVIDIA® BlueField®-3 permiten una escalabilidad eficiente en cientos de miles de GPU Blackwell para alcanzar un rendimiento de aplicaciones óptimo.

Fábrica de IA para la nueva revolución industrial

Superchip NVIDIA GB200 Grace Blackwell NVL4

El superchip NVIDIA GB200 Grace Blackwell NVL4 hace posible el futuro de la convergencia de IA y HPC, al ofrecer un rendimiento revolucionario mediante cuatro GPU NVIDIA Blackwell conectadas por NVLink™ unificadas con dos CPU Grace sobre NVLink-C2C.

Superchip NVIDIA GB200 Grace Blackwell NVL4

Especificaciones

Especificaciones de GB200 NVL72

  GB200 NVL72 GB200 Grace Blackwell Superchip
Configuración 36 CPU Grace: 72 GPU Blackwell 1 CPU Grace: 2 GPU Blackwell
Tensor Core de FP41 1440 PFLOPS 40 PFLOPS
Tensor Core de FP8/FP61 720 PFLOPS 20 PFLOPS
Tensor Core de INT81 720 POPS 20 POPS
Tensor Core de FP16/BF161 360 PFLOPS 10 PFLOPS
Tensor Core de TF32 180 PFLOPS 5 PFLOPS
FP32 5760 TFLOPS 160 TFLOPS
FP64 2880 TFLOPS 80 TFLOPS
Tensor Core de FP64 2880 TFLOPS 80 TFLOPS
Memoria GPU | Ancho de banda HBM3e de hasta 13,4 TB | 576 TB/s HBM3e de hasta 372 GB | 16 TB/s
Ancho de banda NVLink 130 TB/s 3,6 TB/s
Recuento de núcleos de CPU 2592 núcleos Arm® Neoverse V2 72 núcleos Arm® Neoverse V2
Memoria GPU | Ancho de banda LPDDR5X de hasta 17 TB | Hasta 18,4 TB/s LPDDR5X de hasta 480 GB | Hasta 512 GB/s

Primeros pasos

Mantenerse al día

Regístrese para saber cuándo estará disponible NVIDIA Blackwell.

Select Location
Middle East