Núcleos Tensor de NVIDIA

Aceleración Sin Precedentes para la IA Generativa

Los Núcleos Tensor permiten la computación de precisión mixta, adaptando dinámicamente los cálculos para acelerar el rendimiento al tiempo que preserva la precisión y proporciona una seguridad mejorada. La última generación de Núcleos Tensor es más rápida que nunca en una amplia gama de tareas de IA y computación de alto rendimiento (HPC). Desde aceleraciones 4 veces mayores en el entrenamiento de modelos de IA generativa de billones de parámetros hasta un aumento de 45 veces en el rendimiento de inferencia, los Núcleos Tensor de NVIDIA aceleran todas las cargas de trabajo para las modernas AI factories.

Introducción
Blackwell
Hopper
Especificaciones

Introducción

Introducción
Blackwell
Hopper
Especificaciones

Entrenamiento Revolucionario en IA

Entrenar modelos de IA generativa de varios billones de parámetros con precisión de punto flotante de 16 bits (FP16) puede llevar meses. Los Núcleos Tensor de NVIDIA brindan un rendimiento de un orden de magnitud superior con precisiones reducidas como FP8 en Transformer Engine, Tensor Float 32 (TF32) y FP16. Con soporte directo en frameworks nativos a través de bibliotecas CUDA-X™ , la implementación es automática, lo que reduce significativamente los tiempos de entrenamiento a convergencia mientras se mantiene la precisión.

Innovador Motor de Inferencia de IA

Lograr una baja latencia con un alto rendimiento y al mismo tiempo maximizar la utilización es el requisito de rendimiento más importante para implementar la inferencia de manera confiable. El motor de inferencia de la arquitectura NVIDIA Blackwell ofrece un rendimiento excepcional y también tiene la versatilidad de acelerar diversos modelos de IA generativa de parámetros multimillonarios.

Núcleos Tensor ha permitido a NVIDIA ganar los puntos de referencia de inferencia de MLPerf en toda la industria.

HPC avanzado

HPC es un pilar fundamental de la ciencia moderna. Para desbloquear descubrimientos de próxima generación, los científicos utilizan simulaciones para comprender mejor moléculas complejas para el descubrimiento de fármacos, física para fuentes potenciales de energía y datos atmosféricos para predecir y prepararse mejor para patrones climáticos extremos. Los Núcleos Tensor de NVIDIA ofrecen una gama completa de precisiones, incluido FP64, para acelerar la computación científica con la mayor precisión necesaria.

El SDK de HPC proporciona los compiladores, bibliotecas y herramientas esenciales para desarrollar aplicaciones HPC para la plataforma NVIDIA.

Núcleos Tensor NVIDIA Blackwell

Quinta Generación

La arquitectura Blackwell ofrece una aceleración 45 veces mayor en comparación con la generación anterior de NVIDIA Hopper™ para modelos masivos como GPT-MoE-1.8T. Este aumento de rendimiento es posible gracias a la quinta generación de Núcleos Tensor, que ofrece avances innovadores para IA generativa, análisis de datos y HPC. Los Núcleos Tensor de quinta generación introducen Nuevas Precisiones de microescalado (MX) FP4 junto con soporte para todas las precisiones de la comunidad, como MXFP8, MXFP6 y MXINT8.

Obtenga Más Información Sobre la Arquitectura NVIDIA Blackwell

Nuevas Precisiones
Motor de Inferencia

Nuevos Formatos de Precisión

A medida que los modelos de IA generativa aumentan en tamaño y complejidad, es fundamental mejorar el rendimiento del entrenamiento y la inferencia. Para satisfacer estas necesidades de computación, los Núcleos Tensor de Blackwell admiten todos los formatos de cuantificación comunitarios comunes, incluidos MXFP8, MXFP6, MXFP4 y MXINT8.

Motor de Inferencia

El motor de inferencia de Blackwell utiliza la tecnología Blackwell Tensor Core personalizada para acelerar la inferencia para IA generativa y grandes modelos de lenguaje (LLM) con nuevos formatos de precisión, incluidos formatos MX definidos por la comunidad. Las nuevas precisiones del Motor de Inferencia potencian la aceleración para los LLM de hoy con espacios de modelo pequeños y mayor rendimiento que las precisiones de FP8 y FP16.

El motor de inferencia trabaja para democratizar los LLM actuales con rendimiento en tiempo real. Las empresas pueden optimizar los procesos de negocio mediante la implementación de modelos de IA generativa de última generación con una economía asequible.

Núcleos Tensor de Arquitectura NVIDIA Hopper

Cuarta Generación

Desde la introducción de la tecnología Tensor Core, las GPU NVIDIA han aumentado su rendimiento máximo 60 veces, impulsando la democratización de la computación para IA y HPC. La arquitectura NVIDIA Hopper avanza los Núcleos Tensor de cuarta generación con Transformer Engine utilizando FP8 para ofrecer un rendimiento 6 veces mayor que FP16 para el entrenamiento de modelos de billones de parámetros. Combinado con 3 veces más rendimiento usando las precisiones TF32, FP64, FP16 e INT8, Núcleos Tensor Hopper ofrece aceleración para todas las cargas de trabajo.

Obtenga Más Información Sobre la Arquitectura NVIDIA Hopper

La Plataforma de Data Centers de HPC e IA de extremo a extremo más potente

Los Núcleos Tensor son componentes esenciales de la solución completa de data center de NVIDIA que incorpora hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados del catálogo NVIDIA NGC™. La plataforma de IA y HPC de extremo a extremo más potente, permite a los investigadores ofrecer resultados del mundo real e implementar soluciones en producción a escala.

	Blackwell	Hopper
Precisiones de Núcleo Tensor admitidas	FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4	FP64, TF32, BF16, FP16, FP8, INT8
Precisiones de Núcleo CUDA® compatibles	FP64, FP32, FP16, BF16	FP64, FP32, FP16, BF16, INT8

*Especificaciones preliminares, pueden estar sujetas a cambios.

¿Interesado en NVIDIA Blackwell?

Más Información