Arquitectura NVIDIA Blackwell

La segunda generación del Transformer Engine utiliza la tecnología personalizada de los núcleos Tensor de Blackwell combinada con las innovaciones de NVIDIA® TensorRT™-LLM y NeMo™ Framework para acelerar la inferencia y el entrenamiento de modelos lingüísticos de gran tamaño (LLM) y modelos de mezcla de expertos (MoE). Los núcleos Tensor de Blackwell añaden nuevas precisiones, incluidos nuevos formatos de microescalado definidos por la comunidad, lo que da una alta exactitud y facilidad de reemplazo para conseguir mayor precisión.

Los núcleos tensores Blackwell Ultra están sobrealimentados con una aceleración de capa de atención 2 veces superior y 1,5 veces más FLOPS de computación de IA en comparación con las GPU Blackwell. El Blackwell Transformer Engine utiliza técnicas de escalado de grano fino llamadas escalado microtensorial, para optimizar el desempeño y la precisión permitiendo la IA de punto flotante de 4 bits (FP4). Esto duplica el desempeño y el tamaño de los modelos de próxima generación compatibles con la memoria a la vez que mantiene una gran exactitud.

El desbloqueo de todo el potencial de la computación a exaescala y de los modelos de IA con billones de parámetros depende de la necesidad de una comunicación rápida y perfecta entre cada GPU dentro de un clúster de servidores. La quinta generación de interconexión NVIDIA NVLink puede escalar hasta 576 GPU para acelerar el desempeño de modelos de IA con billones e incluso trillones de parámetros.

El chip de conmutación NVIDIA NVLink permite 130 TB/s de ancho de banda de GPU en un dominio NVLink de 72 GPU (NVL72) y ofrece una eficiencia de ancho de banda 4 veces mayor al ser compatible con el protocolo escalable de agregación y reducción jerárquica (SHARP)™ FP8 de NVIDIA. El chip de conmutación NVIDIA NVLink admite clústeres más allá de un solo servidor en la misma impresionante interconexión de 1,8 TB/s. Clústeres multiservidor con comunicaciones por GPU a escala de NVLink en equilibrio con el aumento de la computación, por lo que NVL72 puede admitir 9 veces el recuento de GPU que un solo sistema de ocho GPU.

Blackwell añade resiliencia inteligente con un motor dedicado de fiabilidad, disponibilidad y capacidad de mantenimiento (RAS) para identificar posibles fallos que pueden ocurrir desde el principio para minimizar el tiempo de inactividad.  Las capacidades de gestión predictiva con tecnología de IA de NVIDIA supervisan continuamente miles de puntos de datos en todo el hardware y el software para predecir el estado general e interceptar fuentes de tiempo de inactividad e ineficiencia. Esto genera una resiliencia inteligente que ahorra tiempo, energía y costes informáticos.

El motor RAS de NVIDIA ofrece información de diagnóstico detallada que puede identificar áreas preocupantes y planificar el mantenimiento. El motor RAS reduce el tiempo de respuesta al localizar rápidamente el origen de los problemas y minimiza el tiempo de inactividad al facilitar una remediación efectiva.