45:56
NVIDIA GB300 NVL72
Creada para la era del razonamiento IA.
Disponible Pronto
Regístrese para recibir una notificación cuando NVIDIA GB300 NVL72 esté disponible.
Descripción General
Diseñada para el Desempeño de Razonamiento de IA
NVIDIA GB300 NVL72 cuenta con un diseño a escala de bastidor con refrigeración líquida que unifica 72 GPU NVIDIA Blackwell Ultra y 36 CPU NVIDIA Grace™ basadas en Arm® en una sola plataforma optimizada para la inferencia de escalado en tiempo de prueba. Las fábricas de IA impulsadas por GB300 NVL72 con NVIDIA Quantum-X800 InfiniBand o Spectrum™-X Ethernet, junto con ConnectX®-8 SuperNICS, proporcionan un rendimiento 50 veces mayor para la inferencia de modelos de razonamiento en comparación con la plataforma NVIDIA Hopper™.
Desempeño
Escalado de Fábricas de IA a Niveles Sin Precedentes
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 con desagregación FP4 Dynamo. H100 con procesamiento por lotes en vuelo FP8. El desempeñeo proyectado puede cambiar.
Obtenga un desempeño de razonamiento de IA de nivel superior con la plataforma NVIDIA GB300 NVL72. En comparación con Hopper, GB300 NVL72 ofrece un impresionante aumento de diez veces la capacidad de respuesta del usuario (TPS por usuario) y una mejora de cinco veces en el rendimiento (TPS por megavatio [MW]). En conjunto, estos avances se traducen en un notable aumento de 50 veces en la producción general del ecosistema de IA.
Funciones
Avances Tecnológicos
Inferencia de Razonamiento IA
El escalado en tiempo de prueba y el razonamiento IA aumentan la computación necesaria para lograr calidad en el servicio y un rendimiento máximo. Los Núcleos Tensor de NVIDIA Blackwell Ultra están potenciados con el doble de aceleración de la capa de atención y 1,5 veces más operaciones de punto flotante de computación IA por segundo (FLOPS) en comparación con las GPU NVIDIA Blackwell.
288GB de HBM3e
Una capacidad de memoria más grande permite un tamaño de lotes más grande y el máximo rendimiento posible. Las GPU NVIDIA Blackwell Ultra ofrecen una memoria HBM3e 1.5 veces más grande en combinación con una computación IA adicional, lo que aumenta el rendimiento del razonamiento IA en longitudes contextuales más largas.
Arquitectura NVIDIA Blackwell
La arquitectura NVIDIA Blackwell ofrece avances innovadores en la computación acelerada, lo que impulsa una nueva era de desempeño, eficiencia y escala sin precedentes.
NVIDIA ConnectX-8 SuperNIC
El módulo de entrada y salida (IO) de NVIDIA ConnectX-8 SuperNIC aloja dos dispositivos ConnectX-8, que proporcionan 800 gigabits por segundo (Gb/s) de conectividad de red para cada GPU en NVIDIA GB300 NVL72. Esto ofrece las mejores capacidades de acceso directo a memoria remota (RDMA) en su clase con las plataformas de redes NVIDIA Quantum-X800 InfiniBand o Spectrum-X Ethernet, lo que permite una máxima eficiencia en las cargas de trabajo de la IA.
CPU NVIDIA Grace
La CPU NVIDIA Grace es un procesador innovador diseñado para cargas de trabajo de data centers modernos. Proporciona un desempeño y un ancho de banda de memoria excepcionales con el doble de eficiencia energética que los procesadores líderes en servidores actuales.
NVIDIA NVLink de Quinta Generación
Descubrir y aprovechar todo el potencial de la computación acelerada requiere una comunicación fluida entre cada GPU. La quinta generación de NVIDIA NVLink™ es una interconexión de escalado que desata el desempeño acelerado de los modelos de razonamiento IA
NVIDIA GB300 Grace Blackwell Ultra Superchip
Como componente básico de la solución a escala de bastidor NVIDIA GB300 NVL72, el superchip NVIDIA GB300 Grace Blackwell Ultra cuenta con cuatro GPU NVIDIA Blackwell Ultra, dos CPU Grace y cuatro SuperNIC ConnectX-8. A través de la tecnología NVIDIA NVLink Switch y las DPU NVIDIA BlueField®-3, 18 superchips se combinan en una GPU gigante, creada específicamente para la era del razonamiento IA.
Especificaciones
NVIDIA GB300 NVL72¹
| Configuración | 72 GPU NVIDIA Blackwell Ultra, 36 CPU NVIDIA Grace |
| Ancho de Banda de NVLink | 130TB/s |
| Memoria Rápida | Hasta 40TB |
| Memoria de GPU | Ancho de Banda | Hasta 21TB | Hasta 576TB/s |
| Memoria de CPU | Ancho de Banda | Hasta 18TB SOCAMM con LPDDR5X | Hasta 14.3TB/s |
| Recuento de Núcleos de CPU | 2,592 núcleos Arm Neoverse V2 |
| Núcleo Tensor FP4 | 1,400 | 1,100² PFLOPS |
| Núcleo Tensor FP8/FP6 | 720 PFLOPS |
| Núcleo Tensor INT8 | 23 PFLOPS |
| Núcleo Tensor FP16/BF16 | 360 PFLOPS |
| Núcleo Tensor TF32 | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| Núcleo Tensor FP64 / FP64 | 100 TFLOPS |
|
1. Especificaciones preliminares. Pueden estar sujetas a cambios. Todas las especificaciones del Núcleo Tensor son con dispersión, a menos que se indique lo contrario. |
|
Recursos
Más Información sobre Grace Blackwell
-
Blogs
-
Sesiones
Empiece Ahora
Manténgase al Día
Regístrese para recibir una notificación cuando NVIDIA GB300 NVL72 esté disponible.
Manténgase Actualizado Sobre las Noticias de la IA de NVIDIA
Regístrese para recibir las últimas noticias, actualizaciones y más información de NVIDIA.