Tensor Cores de NVIDIA

Aceleración sin precedentes para la IA generativa

Los Tensor Cores permiten la computación de precisión mixta, con una adaptación dinámica de los cálculos para acelerar el rendimiento al tiempo que preservan la precisión y proporcionan una mayor seguridad. La última generación de Tensor Cores es más rápida que nunca en una amplia gama de tareas de IA y computación de alto rendimiento (HPC). Los Tensor Cores de NVIDIA aceleran todas las cargas de trabajo de las modernas fábricas de IA, desde aceleraciones cuatro veces mayores en el entrenamiento de los modelos de IA generativa de billones de parámetros hasta un aumento de 45 veces en el rendimiento de la inferencia.

Introducción
Blackwell
Hopper
Especificaciones

Introducción

Introducción
Blackwell
Hopper
Especificaciones

Entrenamiento revolucionario en IA

El entrenamiento de modelos de IA generativa de varios billones de parámetros en precisión de punto flotante de 16 bits (FP16) puede llevar meses. Los Tensor Cores de NVIDIA proporcionan un rendimiento de orden de magnitud superior con precisiones reducidas como FP8 en el motor transformador, Tensor Float 32 (TF32) y FP16. Gracias a la compatibilidad directa con entornos de trabajo nativos a través de las bibliotecas CUDA-X™, la implementación es automática, lo que reduce drásticamente los tiempos de entrenamiento a convergencia, a la vez que mantiene la precisión.

Innovador motor de IA generativa

Lograr una baja latencia con un alto rendimiento maximizando la utilización es el requisito de rendimiento más importante para implementar la inferencia de forma fiable. El motor transformador de segunda generación de la arquitectura NVIDIA Blackwell proporciona un rendimiento excepcional y, además, tiene la versatilidad necesaria para acelerar diversos modelos de IA generativa con varios billones de parámetros.

Los Tensor Cores han permitido a NVIDIA ganar las pruebas de referencia MLPerf de todo el sector para la inferencia.

HPC avanzada

La HPC es un pilar fundamental de la ciencia moderna. Para desbloquear descubrimientos innovadores, los científicos utilizan simulaciones para comprender mejor moléculas complejas con vistas al descubrimiento de fármacos, la física para hallar posibles fuentes de energía y los datos atmosféricos para predecir mejor los fenómenos meteorológicos extremos y prepararse para ellos. Los Tensor Cores de NVIDIA ofrecen una gama completa de precisiones, como FP64, para acelerar la computación científica con la mayor precisión necesaria.

El HPC SDK proporciona los compiladores, las bibliotecas y las herramientas esenciales para desarrollar aplicaciones HPC para la plataforma NVIDIA.

Tensor Cores de NVIDIA Blackwell

5ª generación

La arquitectura Blackwell multiplica por 30 la velocidad en comparación con la generación anterior de NVIDIA Hopper™ para modelos masivos como GPT-MoE-1.8T. Este aumento del rendimiento es posible gracias a la quinta generación de Tensor Cores. Los Tensor Cores de Blackwell añaden nuevas precisiones, incluidos los formatos de microescalado definidos por la comunidad, lo que proporciona una mayor precisión y facilidad de sustitución para precisiones superiores.

Más información sobre la arquitectura NVIDIA Blackwell

Nuevas precisiones
Motor de IA generativa

Nuevos formatos de precisión

A medida que los modelos de IA generativa aumentan en tamaño y complejidad, es fundamental mejorar el rendimiento del entrenamiento y la inferencia. Para satisfacer estas necesidades de computación, los Tensor Cores de Blackwell admiten nuevos formatos de cuantificación y precisiones, incluidos los formatos de microescalado definidos por la comunidad.

Motor transformador de segunda generación

El motor transformador de segunda generación utiliza la tecnología personalizada de los Tensor Core de Blackwell combinada con las innovaciones de NVIDIA® TensorRT™-LLM y NeMo™ Framework para acelerar la inferencia y el entrenamiento para modelos lingüísticos de gran tamaño (LLM) y modelos de mezcla de expertos (MoE). El motor transformador se basa en la precisión FP4 de los Tensor Cores, que duplica el rendimiento y la eficiencia al tiempo que mantiene una alta precisión para los modelos MoE actuales y de próxima generación.

El motor de IA generativa trabaja para democratizar los LLM actuales con un rendimiento en tiempo real. Las empresas pueden optimizar los procesos empresariales implementando modelos de IA generativa de última generación con una rentabilidad asequible.

Tensor Cores de la arquitectura NVIDIA Hopper

Cuarta generación

Desde la introducción de la tecnología Tensor Core, las GPU NVIDIA Hopper han multiplicado por 60 su rendimiento máximo, lo que impulsa la democratización de la computación para la IA y HPC. La arquitectura de NVIDIA Hopper hace avances en los Tensor Cores de cuarta generación con el motor transformador utilizando FP8 para proporcionar 6 veces más rendimiento que FP16 en el entrenamiento de modelos de billones de parámetros. Junto con un rendimiento 3 veces mayor con precisiones de TF32, FP64, FP16 e INT8, los Tensor Cores de Hopper ofrecen las aceleraciones más elevadas en todas las cargas de trabajo.

Más información sobre la arquitectura NVIDIA Hopper

La plataforma de centro de datos de IA y HPC integral más potente

Los Tensor Cores son componentes esenciales de la solución completa para centros de datos de NVIDIA que incorpora hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados del catálogo NVIDIA NGC™ . La plataforma de IA y HPC integral más potente, permite a los investigadores obtener resultados reales e implementar soluciones en producción a escala.

	Blackwell	Hopper
Precisiones compatibles con Tensor Core	FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4	FP64, TF32, BF16, FP16, FP8, INT8
Precisiones compatibles con CUDA® Core	FP64, FP32, FP16, BF16	FP64, FP32, FP16, BF16, INT8

*Las especificaciones preliminares pueden estar sujetas a cambios

Más información sobre NVIDIA Blackwell.

Más información