NVLink y NVLink Switch
Los elementos básicos de la comunicación de alta velocidad y multi-GPU para alimentar grandes conjuntos de datos más rápido en modelos e intercambiar datos rápidamente entre GPU.
La necesidad de interconexiones más rápidas y de escalado vertical
El aprovechamiento de todo el potencial de la informática a exaescala y de los modelos de IA con billones de parámetros depende de una comunicación rápida y perfecta entre cada GPU dentro de un clúster de servidores. La quinta generación de NVIDIA NVLink™ es una interconexión a escala ampliada que potencia el razonamiento de la IA y acelera el rendimiento para modelos de inferencia con billones de parámetros.
Maximiza el rendimiento del sistema con NVIDIA NVLink
La quinta generación de NVLink mejora enormemente la escalabilidad para sistemas multiGPU más grandes al permitir que las GPU compartan memoria y cálculos para flujos de trabajo de entrenamiento, inferencia y razonamiento. Una sola GPU NVIDIA Blackwell admite hasta 18 conexiones NVLink de 100 gigabytes por segundo (GB/s) para un ancho de banda total de 1,8 terabytes por segundo (TB/s); 2 veces más ancho de banda que la generación anterior y más de 14 veces el ancho de banda de PCIe Gen5. Las plataformas de servidor como NVIDIA GB300 NVL72 aprovechan esta tecnología para ofrecer una mayor escalabilidad para los modelos grandes más complejos de la actualidad.
Rendimiento a escala de NVLink
NVLink en NVIDIA GB300 aumenta en 2 veces el ancho de banda de comunicación entre GPU en comparación con la generación anterior, por lo que los investigadores pueden utilizar aplicaciones más grandes y sofisticadas para resolver problemas más complejos.
Aumenta el rendimiento del razonamiento con las comunicaciones de NVLink
Conexión total de GPU con NVIDIA NVLink y NVLink Switch
NVLink es una interconexión bidireccional y directa de GPU a GPU de 1,8 TB/s que escala entradas y salidas (IO) de varias GPU dentro de un servidor. Los chips NVIDIA NVLink Switch conectan varios NVLinks para proporcionar una comunicación por GPU de todo a todo a velocidad de NVLink completa dentro de un solo rack y entre racks.
Para permitir operaciones colectivas de alta velocidad, cada NVLink Switch tiene motores para el protocolo escalable de agregación y reducción jerárquica (SHARP)™ de NVIDIA para reducciones en la red y la aceleración de la multidifusión.
Acelera el razonamiento del tiempo de prueba para billones de modelos de parámetros con el sistema NVLink Switch
Con NVLink Switch, las conexiones NVLink se pueden extender a través de nodos para crear un clúster de GPU sin problemas, de alto ancho de banda y de varios nodos que forma eficazmente una GPU con tamaño de centro de datos. NVIDIA NVLink Switch permite 130 TB/s de ancho de banda de GPU en una GB300 NVL72 para el paralelismo de modelos de gran tamaño. Clústeres multiservidor con comunicaciones por GPU a escala de NVLink en equilibrio con el aumento de la computación, por lo que NVL72 puede admitir 9 veces el recuento de GPU que un solo sistema de ocho GPU.
Conmutador NVIDIA NVLink
NVIDIA NVLink 5 Switch cuenta con 144 puertos NVLink con una capacidad de conmutación sin bloqueo de 14,4 TB/s. El conmutador de rack está diseñado para ofrecer un ancho de banda alto y una latencia baja en los sistemas NVIDIA GB300 NVL72 que admiten conectividad NVLink externa de quinta generación.
Escalado de empresa a exaescala
Conexión completa para un rendimiento sin igual
NVLink Switch es la primera arquitectura de conmutador de nivel de bastidor capaz de admitir hasta 576 GPU totalmente conectadas en una estructura de computación sin bloqueo. NVLink Switch interconecta cada par de GPU con unos increíbles 1,800 GB/s. Admite comunicación completa entre todos los componentes. Las 72 GPU de GB200 NVL72 se pueden utilizar como un solo acelerador de alto rendimiento con hasta 1,4 exaflops de potencia de computación de IA.
La plataforma de IA y HPC más potente
NVLink y NVLink Switch son elementos esenciales de la solución completa del centro de datos de NVIDIA que incorpora hardware, redes, software y bibliotecas, así como modelos y aplicaciones de IA optimizados del software NVIDIA AI Enterprise y el catálogo de NVIDIA NGC™. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados reales e implementar soluciones en producción, impulsando una aceleración sin precedentes a todas las escalas.
Especificaciones
-
NVLink
-
NVLink Switch
| Tercera generación | Cuarta generación | Quinta generación | |
|---|---|---|---|
| Ancho de banda NVLink por GPU | 600 GB/s | 900 GB/s | 1,800 GB/s |
| Número máximo de enlaces por GPU | 12 | 18 | 18 |
| Arquitecturas NVIDIA compatibles | Arquitectura NVIDIA Ampere | Arquitectura NVIDIA Hopper™ | Arquitectura NVIDIA Blackwell |
Las especificaciones preliminares pueden estar sujetas a cambios.
Sumérgete en la arquitectura NVIDIA Blackwell