— Universidad Tecnológica de Chalmers, Suecia
Benchmarks de MLPerf
La plataforma de IA de NVIDIA logra rendimiento y versatilidad de clase mundial en MLPerf Training, Inference y HPC para las cargas de trabajo de AI más exigentes del mundo real.
¿Qué es MLPerf?
MLPerf es un grupo de líderes de IA de la industria, laboratorios de investigación e instituciones académicas cuya misión es "desarrollar evaluaciones útiles e imparciales", que proporcionen pruebas sin sesgos (que se llevan a cabo bajo condiciones prescritas) para el rendimiento de la inferencia y el entrenamiento del hardware, el software y los servicios. Para seguir a la vanguardia de las tendencias de la industria, MLPerf sigue evolucionando y realiza nuevas pruebas de forma periódica. También agrega nuevas cargas de trabajo que representan lo último en IA.
Categorías de Participación de MLPerf
MLPerf Inference v4.0 mide el rendimiento de la inferencia en nueve puntos de referencia diferentes, incluidos grandes modelos de lenguaje (LLM), texto a imagen, procesamiento de lenguaje natural, voz, recomendadores, visión artificial y segmentación de imágenes médicas.
MLPerf Training v4.0 mide el rendimiento de la formación en nueve puntos de referencia diferentes, entre los que se incluyen la formación previa de LLM, el ajuste fino de LLM, la conversión de texto a imagen, la red neuronal de grafos (GNN), la visión artificial, la segmentación de imágenes médicas y la recomendación.
MLPerf HPC v3.0 mide el rendimiento del entrenamiento en cuatro casos de uso de computación científica diferentes, incluida la identificación de ríos climáticos y atmosféricos, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la predicción de la estructura de proteínas.
Grandes Modelos de Lenguaje
MLPerf Training utiliza el modelo de lenguaje generativo GPT-3 con 175 mil millones de parámetros y una longitud de secuencia de 2,048 en el conjunto de datos C4.
MLPerf Inference utiliza el modelo GPT-J (6 mil millones de parámetros) con el conjunto de datos CNN-DailyMail. detalles.
Texto a Imagen
MLPerf Training utiliza el modelo de texto a imagen de Stable Diffusion v2 entrenado en el conjunto de datos filtrado LAION-400M. detalles.
Recomendación
MLPerf Training and Inference utiliza el Deep Learning Recommendation Model v2 (DLRMv2) que emplea DCNv2 cross-layer y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos de Criteo. detalles.
Detección de Objetos (Ligero)
MLPerf Training utiliza Single-Shot Detector (SSD) con la red troncal ResNeXt50 en un subconjunto del conjunto de datos de Google OpenImages. detalles.
Red Neuronal de Grafos
Utiliza redes neuronales diseñadas para trabajar con datos estructurados como grafos. detalles.
Clasificación de Imágenes
El entrenamiento y la inferencia de MLPerf usan ResNet v1.5 con el conjunto de datos de ImageNet. detalles.
Procesamiento del Lenguaje Natural (PLN)
MLPerf Training usa representaciones de codificador bidireccional de transformadores (BERT) en el conjunto de datos de Wikipedia 2020/01/01.
La inferencia de MLPerf usó BERT con el conjunto de datos SQuAD v.1.1. detalles.
Segmentación de Imágenes Biomédicas
MLPerf Training and Inference utiliza 3D U-Net con el conjunto de datos KiTS19.
Clima Identificación de Ríos Atmosféricos
Identifique huracanes y ríos atmosféricos en datos de simulación climática. detalles.
Predicción de Parámetros Cosmológicos
Resuelva un problema de regresión de imágenes 3D en datos cosmológicos. detalles.
Modelado Molecular Cuántico
Predecir energías o configuraciones moleculares. detalles.
Predicción de la Estructura de las Proteínas
Predice la estructura tridimensional de las proteínas basándose en la conectividad unidimensional de aminoácidos. detalles.
Resultados del Benchmark de NVIDIA MLPerf
-
Entrenamiento
-
Inferencia
-
HPC
La plataforma de computación acelerada de NVIDIA, impulsada por las GPU NVIDIA HopperTM y las redes NVIDIA Quantum-2 InfiniBand, ofreció el rendimiento más alto en todos los puntos de referencia de MLPerf Training v4.0. En el benchmark LLM, NVIDIA triplicó con creces el rendimiento en solo un año, a través de una escala récord de presentación de 11.616 GPU H100 y optimizaciones de software. NVIDIA también ofreció 1,8 veces más rendimiento en el benchmark de texto a imagen en solo siete meses. Y, en los puntos de referencia de redes neuronales gráficas y ajuste fino de LLM recientemente agregados, NVIDIA estableció el estándar. NVIDIA logró estos resultados excepcionales a través de una ingeniería completa implacable a escala de data center.
NVIDIA Establece un Nuevo Gran Récord de Entrenamiento de Modelos de Lenguaje con la Mayor Presentación de MLPerf de la Historia
Resultados de MLPerf™ Training v3.1 y v4.0 obtenidos de www.mlperf.org. el 12 de junio de 2024, de las siguientes entradas: NVIDIA + CoreWeave 3.0-2003, NVIDIA 4.0-0007. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
NVIDIA Sigue Ofreciendo el Máximo Rendimiento en Todas las Pruebas de Entrenamiento de MLPerf
La plataforma NVIDIA continuó demostrando un rendimiento y versatilidad inigualables en MLPerf Training v4.0. NVIDIA ofreció el rendimiento más alto en los nueve puntos de referencia y estableció nuevos récords en los siguientes puntos de referencia: LLM, ajuste fino de LLM, texto a imagen, red neuronal de grafos y detección de objetos (peso ligero).
Max-Scale Performance
La plataforma de computación acelerada de NVIDIA, impulsada por la arquitectura NVIDIA Hopper, ofreció un rendimiento excepcional en todas las cargas de trabajo en la categoría de data centers MLPerf Inference v4.0. El software NVIDIA TensorRT TM-LLM casi triplicó el rendimiento de GPT-J LLM en las GPU Hopper en solo seis meses. La NVIDIA HGX™ H200, impulsada por las GPU NVIDIA H200 Tensor Core con 141GB de memoria HBM3e, también hizo su debut, estableciendo nuevos récords en las nuevas pruebas de IA generativa Llama 2 70B y Stable Diffusion XL. El Superchip NVIDIA GH200 Grace Hopper™ también demostró un rendimiento sobresaliente, mientras que NVIDIA Jetson Orin se mantuvo a la vanguardia en la categoría de edge, ejecutando el conjunto más diverso de modelos, incluidos modelos de IA generativa como GPT-J y Stable Diffusion XL.
NVIDIA H200 Ofrece un Gran Impulso para Llama 2 70B
Resultados del data center MLPerf Inference v4.0 obtenidos de www.mlperf.org el 27 de marzo de 2024 de las entradas 4.0-0062 y 4.0-0068. El nombre y el logotipo de MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información..
TensorRT-LLM Casi Triplica el Rendimiento del LLM de la Tolva
Resultados del data center MLPerf Inference v3.1 y v4.0 recuperados de www.mlperf.org el 27 de marzo de 2024 de las entradas 3.1-0107 y 4.0-0060, respectivamente. El nombre y el logotipo de MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
NVIDIA H100 Tensor Core potenció la plataforma NVIDIA para HPC e IA en su debut MLPerf HPC v3.0, lo que permite un tiempo de entrenamiento hasta 16 veces más rápido en solo tres años y ofrece el rendimiento más alto en todas las cargas de trabajo tanto en el tiempo de entrenamiento como en las métricas de rendimiento. La plataforma NVIDIA también fue la única que presentó resultados para cada carga de trabajo de HPC de MLPerf, que abarcan la segmentación climática, la predicción de parámetros de cosmología, el modelado molecular cuántico y, la última incorporación, la predicción de la estructura de proteínas. El rendimiento y la versatilidad inigualables de la plataforma NVIDIA la convierten en el instrumento elegido para impulsar la próxima ola de descubrimientos científicos impulsados por IA.
Hasta 16 Veces Más Rendimiento en Tres Años
La innovación de NVIDIA Full-Stack impulsa el aumento del rendimiento
Resultados de MLPerf™ HPC v3.0 obtenidos de www.mlperf.org el 8 de noviembre de 2023. Resultados obtenidos de las entradas 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122, 2.0-8005, 2.0-8006, 3.0-8006, 3.0-8007, 3.0-8008. La puntuación de CosmoFlow en v1.0 se normaliza a los nuevos RCP introducidos en MLPerf HPC v2.0. Las puntuaciones de las versiones 0.7, 1.0 y 2.0 se ajustan para eliminar el tiempo de preparación de los datos del índice de referencia, en consonancia con las nuevas reglas adoptadas para la versión 3.0 para permitir comparaciones justas entre las rondas de envío. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
Resultados de MLPerf™ HPC v3.0 obtenidos de www.mlperf.org el 8 de noviembre de 2023. Resultados obtenidos de las entradas 3.0-8004, 3.0-8009 y 3.0-8010. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
La Tecnología Detrás de los Resultados
La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como quedó demostrado en las evaluaciones de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento líder con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables, y software de vanguardia. Por lo tanto, es una solución integral que se puede implementar en el data center, en el cloud o en el edge de la red con resultados increíbles.
Software Optimizado que Acelera los Workflows de IA
El catálogo NGC™ es un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, ya que es un centro para IA optimizado por GPU para el software de análisis de datos, IA y computación de alto rendimiento (HPC) que simplifica y acelera los workflows integrales. NGC permite a los científicos de datos, investigadores y desarrolladores crear las mejores soluciones de su clase, recopilar información y ofrecer valor comercial más rápido que nunca, ya que cuenta con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA conversacional y sistemas de recomendación, cientos de modelos de IA y SDK específicos de la industria que se pueden implementar en las instalaciones, en el cloud o en el edge.
Infraestructura de IA de Clase Líder
Lograr resultados líderes a nivel mundial en capacitación e inferencia requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA brindó un rendimiento líder impulsado por el superchip NVIDIA GH200 Grace Hopper, las GPU NVIDIA H100 y H200 Tensor Core, la GPU NVIDIA L40S Tensor Core y la escalabilidad y flexibilidad de las tecnologías de interconexión de NVIDIA: NVIDIA NVLink®, NVSwitch™ y InfiniBand Quantum-2. Estos están en el corazón de la plataforma del data center de NVIDIA, el motor detrás de nuestro rendimiento de referencia.
Además, los sistemas NVIDIA DGX™ ofrecen escalabilidad, implementación rápida y una increíble potencia computacional que permiten a todas las empresas crear una infraestructura de IA de primer nivel.
Obtén más información sobre el rendimiento de nuestros productos de entrenamiento e inferencia en data centers.
