45:56
NVIDIA GB300 NVL72
Diseñado para la era del razonamiento de IA.
Disponible próximamente
Regístrese para recibir una notificación cuando este disponible el NVIDIA GB300 NVL72.
Descripción
Diseñado para rendimiento en razonamiento de IA
El NVIDIA GB300 NVL72 cuenta con un diseño a escala de rack totalmente refrigerado por líquido que unifica 72 GPU NVIDIA Blackwell Ultra y 36 CPU NVIDIA Grace™ basadas en Arm® en una sola plataforma optimizada para la inferencia de escalado en tiempo de prueba. Las fábricas de IA con tecnología GB300 NVL72 que utilizan NVIDIA Quantum-X800 InfiniBand o Spectrum™-X Ethernet emparejado con SuperNICS ConnectX®-8 ofrecen una salida 50 veces mayor para la inferencia de modelos de razonamiento en comparación con la plataforma NVIDIA Hopper™.
Rendimiento
Escalado de fábricas de IA a niveles sin precedentes
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 con desagregación FP4 Dynamo H100 con lotes en vuelo FP8. El rendimiento proyectado está sujeto a cambios.
Experimente un rendimiento de razonamiento de IA de siguiente nivel con la plataforma NVIDIA GB300 NVL72. En comparación con Hopper, el GB300 NVL72 ofrece un impresionante aumento de 10 veces en la capacidad de respuesta del usuario (TPS por usuario) y una mejora de 5 veces en el rendimiento (TPS por megavatio (MW)). Juntos, estos avances se traducen en un salto notable de 50 veces en la salida general de fábrica de IA.
Características
Avances tecnológicos
Inferencia de razonamiento de IA
El escalado de tiempo de prueba y el razonamiento de IA aumentan la computación necesaria para lograr la calidad de servicio y el máximo rendimiento. Los núcleos Tensor del NVIDIA Blackwell Ultra están sobrealimentados con el doble de aceleración de capa de atención y 1,5 veces más operaciones de computación de punto flotante de IA por segundo (FLOPS) en comparación con las GPU NVIDIA Blackwell.
288 GB de HBM3e
Una mayor capacidad de memoria permite un mayor tamaño de lotes y el máximo rendimiento de transferencia. Las GPU NVIDIA Blackwell Ultra ofrecen una memoria HBM3e 1,5 veces más grande en combinación con computación de IA añadida, lo que aumenta la capacidad de procesamiento de razonamiento de IA para las mayores longitudes de contexto.
Arquitectura NVIDIA Blackwell
La arquitectura NVIDIA Blackwell ofrece avances revolucionarios en la computación acelerada, que impulsan una nueva era de rendimiento, eficiencia y escala sin precedentes.
SuperNIC NVIDIA ConnectX-8
El módulo de entrada/salida (IO) de la SuperNIC NVIDIA ConnectX-8 aloja dos dispositivos ConnectX-8, que proporcionan 800 gigabits por segundo (Gb/s) de conectividad de red para cada GPU en el NVIDIA GB300 NVL72. Esto ofrece las mejores capacidades de acceso directo a memoria remota (RDMA) de su categoría con plataformas de red NVIDIA Quantum-X800 InfiniBand o Ethernet Spectrum-X, lo que permite la máxima eficiencia de cargas de trabajo de IA.
CPU NVIDIA Grace
La CPU NVIDIA Grace es un procesador revolucionario diseñado para cargas de trabajo de centros de datos modernos. Ofrece un rendimiento y ancho de banda de memoria excepcionales con el doble de eficiencia energética de los principales procesadores de servidor de la actualidad.
NVIDIA NVLink de quinta generación
El desbloqueo de todo el potencial de la computación acelerada requiere una comunicación perfecta entre cada GPU. La quinta generación de NVIDIA NVLink™ es una interconexión a escala ascendente que desencadena un rendimiento acelerado para modelos de razonamiento de IA.
Superchip NVIDIA GB300 Grace Blackwell Ultra
El superchip NVIDIA GB300 Grace Blackwell Ultra, como base de la solución a escala de rack NVIDIA GB300 NVL72, cuenta con cuatro GPU NVIDIA Blackwell Ultra, dos CPU Grace y cuatro SuperNIC ConnectX-8. A través de la tecnología NVIDIA NVLink Switch y las DPU NVIDIA BlueField®-3, 18 superchips se combinan en una GPU gigante diseñada específicamente para la era del razonamiento de IA.
Especificaciones
NVIDIA GB300 NVL72¹
| Configuración | 72 GPU NVIDIA Blackwell Ultra, 36 CPU NVIDIA Grace |
| Ancho de banda de NVLink | 130 TB/s |
| Memoria rápida | Hasta 40 TB |
| Memoria de la GPU | Ancho de banda | Hasta 21 TB | Hasta 576 TB/s |
| Memoria de CPU | Ancho de banda | Hasta 18 TB SOCAMM con LPDDR5X | Hasta 14,3 TB/s |
| Cantidad de núcleos de CPU | 2592 núcleos Arm Neoverse V2 |
| Núcleo Tensor FP4 | 1400 | 1100² PFLOPS |
| Núcleo Tensor FP8/FP6 | 720 PFLOPS |
| Tensor Core de INT8 | 23 PFLOPS |
| Núcleo Tensor FP16/BF16 | 360 PFLOPS |
| Tensor Core de TF32 | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| Núcleo Tensor FP64 | 100 TERAFLOPS |
|
1. Especificaciones preliminares. Puede estar sujeto a cambios. Todas las especificaciones de núcleos Tensor son con dispersión, a menos que se indique lo contrario. |
|
Recursos
Más información sobre Grace Blackwell
-
Blogs
-
Sesiones
Empezar
Manténgase informado
Regístrese para recibir una notificación cuando este disponible el NVIDIA GB300 NVL72.
Manténgase al día sobre las noticias de NVIDIA
Suscríbase para obtener las últimas noticias, actualizaciones y mucho más de NVIDIA.