Pruebas de referencia de MLPerf

La plataforma de IA de NVIDIA logra un rendimiento y versatilidad de clase mundial en entrenamiento MLPerf, inferencia y pruebas de referencia de HPC para las cargas de trabajo de IA del mundo real más exigentes.

Ver nuestros resultados

¿Qué es MLPerf?

Las pruebas de referencia de MLPerf™ —desarrolladas por MLCommons, un consorcio de líderes de IA del mundo académico, los laboratorios de investigación y la industria— están diseñadas para proporcionar evaluaciones imparciales de entrenamiento y rendimiento de inferencia para hardware, software y servicios. Todas ellas se realizan en las condiciones prescritas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf continúa evolucionando, realizando nuevas pruebas a intervalos regulares y agregando nuevas cargas de trabajo que representan la tecnología más avanzada.

La Universidad de Chalmers es una de las principales instituciones de investigación de Suecia, especializada en múltiples áreas, desde la nanotecnología hasta los estudios sobre el clima. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, descubrimos que las pruebas de rendimiento de MLPerf proporcionan una comparación transparente de elementos homogéneos de varias plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica Chalmers (Suecia)

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5 nm, que lidera el mercado de tecnología de procesos. Innovaciones como la litografía basada en aprendizaje automático y el modelado de grabado mejoran drásticamente nuestra corrección de proximidad óptica (OPC) y precisión de simulación de grabado. Para aprovechar al máximo el potencial del aprendizaje automático en el entrenamiento de modelos y la inferencia, trabajamos con el equipo de ingeniería de NVIDIA para portar nuestro motor Maxwell de simulación y tecnología de litografía inversa (ILT) a las GPU y ver aceleraciones muy significativas. La prueba de referencia de MLPerf es un factor importante en nuestro proceso de toma de decisiones. -

Dr. Danping Peng, director del departamento de OPC, TSMC, San José, California, (EE. UU.)

La visión computarizada y las imágenes son el núcleo de la investigación de IA, impulsando el descubrimiento científico y representan fácilmente los componentes centrales de la atención médica. Hemos trabajado estrechamente con NVIDIA para introducir innovaciones como 3DUNet al mercado de la atención sanitaria. Las pruebas de referencia de MLPerf, estándar en el sector, proporcionan datos de rendimiento relevantes en beneficio de las organizaciones de TI y de los desarrolladores para obtener la solución más adecuada para acelerar sus proyectos y aplicaciones específicos.

- Prof. Dr. Klaus Maier-Hein, director del departamento de Computación de imágenes médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación Oncológica)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar drásticamente el rendimiento del producto y la productividad de la fabricación. La productividad de estos avances de IA requiere que tengamos la mejor plataforma de computación disponible. La prueba de referencia de MLPerf agiliza nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar de manera uniforme en todas las plataformas.

— Samsung Electronics

Dentro de las pruebas de referencia de MLPerf

MLPerf Inference v4.1 mide el rendimiento de inferencia en nueve puntos de referencia diferentes, incluidos varios modelos de lenguaje de gran tamaño (LLM), texto a imagen, procesamiento de lenguaje natural, recomendadores, visión computarizada y segmentación de imágenes médicas.

MLPerf Training v4.0 mide el rendimiento de entrenamiento en nueve puntos de referencia diferentes, incluido el preentrenamiento de LLM, el ajuste fino de LLM, texto a imagen, red neuronal gráfica (GNN), visión computarizada, segmentación de imágenes médicas y recomendación.

MLPerf HPC v3.0 mide el rendimiento de entrenamiento en cuatro casos de uso de computación científica diferentes, que incluyen la identificación de ríos atmosféricos climáticos, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la predicción de estructuras de proteínas. 

Modelos lingüísticos de gran tamaño

Algoritmos de Deep learning entrenados en conjuntos de datos a gran escala que pueden reconocer, resumir, traducir, predecir y generar contenido para una amplia gama de casos de uso.
Detalles.

Texto a imagen

Genera imágenes a partir de indicaciones de texto.
Detalles.

Recomendación

Ofrece resultados personalizados en servicios orientados al usuario, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre los usuarios y los artículos de servicio, como productos o anuncios.
Detalles.

Detección de objetos (ligera)

Busca instancias de objetos del mundo real, como caras, bicicletas y edificios en imágenes o vídeos, y especifica un cuadro delimitador alrededor de cada uno.
Detalles.

Red neuronal gráfica

Utiliza redes neuronales diseñadas para trabajar con datos estructurados en forma de gráficos.
Detalles.

Clasificación de imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada; es decir, se aplica a problemas de visión por ordenador.
Detalles.

Procesamiento del lenguaje natural (PLN)

Comprende el texto utilizando la relación entre las diferentes palabras en un bloque de texto.

Permite responder preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con el lenguaje.
Detalles.

Segmentación de imágenes biomédicas

Realiza la segmentación volumétrica de imágenes 3D densas para casos de uso médico.
Detalles.

Clima Atmosférico Identificación de ríos

Identificar huracanes y ríos atmosféricos en datos de simulación climática.
Detalles.

Predicción de parámetros cosmológicos

Resuelve un problema de regresión de imágenes 3D en datos cosmológicos.
Detalles.

Modelado molecular cuántico

Predice energías o configuraciones moleculares.
Detalles.

Predicción de la estructura de proteínas

Predice la estructura proteica tridimensional basada en la conectividad unidimensional de los aminoácidos.
Detalles.

Resultados de las pruebas de referencia de MLPerf de NVIDIA

La plataforma de computación acelerada de NVIDIA, impulsada por las unidades GPU NVIDIA HopperTM y la solución de redes NVIDIA Quantum-2 InfiniBand, ofreció el mayor rendimiento en cada punto de referencia en MLPerf Training v4.0. En el punto de referencia de LLM, NVIDIA triplicó el rendimiento en solo un año, a través de una escala de presentación récord de 11 616 optimizaciones de GPU H100 y de software. NVIDIA también proporcionó 1,8 veces más rendimiento en el punto de referencia de texto a imagen en solo siete meses. Y, en los puntos de referencia de ajuste fino de LLM y de red neuronal gráfica recién agregados, NVIDIA puso el listón muy alto. NVIDIA logró estos resultados excepcionales a través de un proceso de ingeniería de pila completa a escala de centro de datos.

NVIDIA establece un nuevo récord de entrenamiento de modelos de lenguaje con la mayor tasa de presentación de MLPerf

Los resultados de MLPerf™ Training v3.1 y v4.0 se obtuvieron de www.mlperf.org. el 12 de junio de 2024, de las siguientes entradas: NVIDIA + CoreWeave 3.0-2003 y NVIDIA 4.0-0007. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcomm

ons.org.

NVIDIA continúa ofreciendo el mejor rendimiento en cada prueba de entrenamiento de MLPerf

La plataforma NVIDIA continúa demostrando un rendimiento y versatilidad inigualables en MLPerf Training v4.0. NVIDIA ha conseguido el mayor rendimiento en los nueve puntos de referencia y ha establecido nuevos récords en los siguientes puntos de referencia: LLM (Modelo lingüístico de gran tamaño), ajuste fino de LLM, texto a imagen, red neuronal gráfica y detección de objetos (peso ligero).

Rendimiento de máxima escala

Benchmark Time to Train Number of GPUs
LLM (GPT-3 175B) 3.4 minutes 11,616
LLM Fine-Tuning (Llama 2 70B-LoRA) 1.2 minutes 1,024
Text-to-Image (Stable Diffusion v2) 1.4 minutes 1,024
Graph Neural Network (R-GAT) 0.9 minutes 512
Recommender (DLRM-DCNv2) 1.0 minutes 128
Natural Language Processing (BERT) 0.1 minutes 3,472
Object Detection (RetinaNet) 0.8 minutes 2,528

Resultados de MLPerfTM Training v4.0 recuperados de www.mlperf.org el 12 de junio de 2024, de las siguientes entradas: NVIDIA 4.0-0058, NVIDIA 4.0-0053, NVIDIA 4.0-0007, NVIDIA 4.0-0054, NVIDIA 4.0-0053, NVIDIA + CoreWeave 4.0-0008, NVIDIA 4.0-0057, NVIDIA 4.0-0056 y NVIDIA 4.0-0067. El nombre y el logotipo de MLPerfTM son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

En su debut en MLPerf Inference, la plataforma NVIDIA Blackwell con el sistema de cuantificación NVIDIA Quasar ofreció un rendimiento de LLM hasta 4 veces más alto en comparación con la GPU NVIDIA H100 Tensor Core de la generación anterior. Entre las soluciones disponibles, la GPU NVIDIA H200 Tensor Core, basada en la arquitectura NVIDIA Hopper, demostró el rendimiento más alto por GPU para IA generativa, incluidas las tres pruebas de referencia de LLM, que incluían Llama 2 70B, GPT-J y la recién añadida LLM multiexpertos, Mixtral 8x7B, así como en la prueba de referencia de texto a imagen Stable Diffusion XL. Gracias a la constante optimización de software, el rendimiento de H200 aumentó hasta un 27 por ciento en menos de seis meses. Para la IA generativa en el perímetro, NVIDIA Jetson Orin TM proporcionó resultados sobresalientes, aumentando el rendimiento de GPT-J en más de 6 veces y reduciendo la latencia en 2,4 veces en una sola ronda.

NVIDIA Blackwell supone un gran salto cualitativo para la inferencia de LLM

Servidor

4X

Sin conexión

3,7X

Superchip de IA

Transistores 208B

Motor de transformador de 2.ª generación

Tensor Core FP4/FP6

NVLINK de 5.ª generación

Escala hasta 576 GPU

Motor de fiabilidad, disponibilidad y mantenimiento (RAS)

Autoprueba 100 % dentro del sistema

IA segura

Cifrado de rendimiento total y entorno de ejecución de confianza (TEE)

Motor de descompresión

800 GB/segundo


MLPerf Inference v4.1 cerrado, centro de datos. Resultados recuperados de www.mlperf.org el 28 de agosto de 2024. Los resultados de Blackwell se midieron en una sola GPU y se recuperaron de la entrada 4.1-0074 en la categoría cerrado, vista previa. Resultados de H100 procedentes de la entrada 4.1-0043 en la categoría cerrado, disponible en un sistema 8x H100 y se divide por el recuento de GPU para la comparación por GPU. El rendimiento por GPU no es un dato métrico primario de MLPerf Inference. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

H200 ofrece un rendimiento de inferencia multi-GPU excepcional en cada punto de referencia

Benchmark Offline Server
Llama 2 70B 34,864 tokens/second 32,790 tokens/second
Mixtral 8x7B 59,022 tokens/second 57,177 tokens/second
GPT-J 20,086 tokens/second 19,243 tokens/second
Stable Diffusion XL 17.42 samples/second 16.78 queries/second
DLRMv2 99% 637,342 samples/second 585,202 queries/second
DLRMv2 99.9% 390,953 samples/second 370,083 queries/second
BERT 99% 73,310 samples/second 57,609 queries/second
BERT 99.9% 63,950 samples/second 51,212 queries/second
RetinaNet 14,439 samples/second 13,604 queries/second
ResNet-50 v1.5 756,960 samples/second 632,229 queries/second
3D U-Net 54.71 samples/second Not part of benchmark



MLPerf Inference v4.1 cerrado, centro de datos. Resultados recuperados de www.mlperf.org el 28 de agosto de 2024. Todos los resultados utilizan ocho GPU y se recuperaron de las siguientes entradas: 4.1-0046, 4.1-0048 y 4.1-0050. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcommons.org.

El NVIDIA H100 Tensor Core ha dotado a la plataforma NVIDIA de una espectacular potencia de proceso para HPC e IA en su debut con MLPerf HPC v3.0, lo cual permite un tiempo de entrenamiento hasta 16 veces más rápido en solo tres años y ofrece el mayor rendimiento en todas las cargas de trabajo en las métricas de tiempo de entrenamiento y capacidad de proceso. La plataforma NVIDIA también fue la única en presentar resultados para cada carga de trabajo de HPC MLPerf, que abarca la segmentación climática, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la última incorporación, la predicción de la estructura de proteínas. El rendimiento y la versatilidad inigualables de la plataforma NVIDIA la convierten en el instrumento de elección para impulsar la próxima ola de descubrimientos científicos impulsados por la IA.

Hasta 16 veces más rendimiento en tres años

La innovación de pila completa de NVIDIA propicia el aumento de rendimiento

MLPerfTM HPC v3.0 Resultados recuperados de www.mlperf.org el 8 de noviembre de 2023. Resultados recuperados de las entradas 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122, 2.0-8005, 2.0-8006, 3.0-8006, 3.0-8007 y 3.0-8008. La puntuación de CosmoFlow en v1.0 se normaliza hasta los nuevos RCP introducidos en MLPerf HPC v2.0. Las puntuaciones para v0.7, v1.0 y v2.0 se ajustan para eliminar el tiempo de almacenamiento provisional de datos desde el punto de referencia, de acuerdo con las nuevas reglas adoptadas para v3.0 para permitir comparaciones justas entre las rondas de presentación. El nombre y el logotipo de MLPerfTM son marcas registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Visite www.mlcommons.org para obtener más información.

 

MLPerfTM HPC v3.0 Resultados recuperados de www.mlperf.org el 8 de noviembre de 2023. Resultados recuperados de las entradas 3.0-8004, 3.0-8009 y 3.0-8010. El nombre y el logotipo de MLPerfTM son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

La tecnología detrás de los resultados

La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como se demuestra en los resultados de las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento puntero con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables, y software de vanguardia, una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados sorprendentes.

Software optimizado que acelera los flujos de trabajo de IA

Un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, el catálogo NGC™ es un centro para software de IA, HPC y análisis de datos optimizado para GPU que simplifica y acelera los flujos de trabajo de extremo a extremo. Con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA generativa, IA conversacional, sistemas de recomendación y cientos de modelos de IA y SDK específicos del sector que se pueden implementar en las instalaciones, en la nube o en el perímetro, NGC permite a científicos de datos, investigadores y desarrolladores crear las mejores soluciones, recopilar información y ofrecer valor comercial más rápido que nunca.

Visite el catálogo de NGC

Infraestructura de IA de nivel de liderazgo

Para lograr resultados punteros a nivel mundial en entrenamiento e inferencia se requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA ofrece un rendimiento líder impulsado por la plataforma NVIDIA Blackwell, la plataforma Hopper, NVLink™, NVSwitch™ y Quantum InfiniBand. Estos constituyen el núcleo de la plataforma de centro de datos de NVIDIA, el motor que propulsa nuestro rendimiento de referencia.

Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la implementación rápida y la increíble potencia informática que permiten a todas las empresas crear una infraestructura de IA de categoría líder.

Más información sobre la plataforma de centro de datos de NVIDIA

Desbloquear la IA generativa en el perímetro con un rendimiento transformador

NVIDIA Jetson Orin ofrece una capacidad de cálculo de IA sin precedentes, una gran memoria unificada y pilas de software completas, que ofrecen una eficiencia energética superior para impulsar las últimas aplicaciones generativas de IA. Es capaz de realizar inferencias rápidamente para cualquier modelo de IA generativa impulsado por la arquitectura del transformador, proporcionando un rendimiento perimetral superior en MLPerf.

Más información sobre NVIDIA Jetson Orin

Obtenga más información sobre el rendimiento de inferencia y de entrenamiento de nuestro centro de datos.

Ver rendimiento

Modelos lingüísticos de gran tamaño

MLPerf Training utiliza el modelo de lenguaje generativo GPT-3 con 175 mil millones de parámetros y una longitud de secuencia de 2048 en el conjunto de datos C4 para la carga de trabajo de preentrenamiento de LLM. Para la prueba de ajuste fino de LLM, el modelo Llama 2 70B con el conjunto de datos GovReport con longitudes de secuencia de 8192.

MLPerf Inference utiliza el modelo Llama 2 70B con el conjunto de datos OpenORCA; el modelo Mixtral 8x7B con los conjuntos de datos OpenORCA, GSM8K y MBXP; y el modelo GPT-J con el conjunto de datos CNN-DailyMail.

Texto a imagen

MLPerf Training utiliza el modelo de texto a imagen Stable Diffusion v2 entrenado en el conjunto de datos filtrado por LAION-400M.

MLPerf Inference utiliza el modelo de texto a imagen de Stable Diffusion XL (SDXL) con un subconjunto de 5000 indicaciones procedentes del conjunto de datos coco-val-2014. 

Recomendación

MLPerf Training and Inference utiliza el modelo de recomendación v2 (DLRMv2) de Deep Learning que emplea DCNv2 multinivel y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos de Criteo.

Detección de objetos (ligera)

MLPerf Training utiliza Single-Shot Detector (SSD) (Detector de capturas únicas) con el nodo de distribución troncal ResNeXt50 en un subconjunto del conjunto de datos de Google OpenImages.

Red neuronal gráfica

MLPerf Training utiliza R-GAT con el conjunto de datos Illinois Graph Benchmark (IGB): conjunto de datos heterogéneos.

Clasificación de imágenes

MLPerf Training and Inference usa ResNet v1.5 con el conjunto de datos ImageNet.

Procesamiento del lenguaje natural (PLN)

MLPerf Training utiliza representaciones de codificadores bidireccionales de transformadores (BERT) en el conjunto de datos Wikipedia 2020/01/01.

MLPerf Inference utiliza BERT con el conjunto de datos SQuAD v.1.1.

Segmentación de imágenes biomédicas

MLPerf Training and Inference utiliza 3D U-Net con el conjunto de datos KiTS19.

Identificación de ríos atmosféricos climáticos

Utiliza el modelo DeepCAM con el conjunto de datos de simulación CAM5+TECA.

Predicción de parámetros cosmológicos

Utiliza el modelo CosmoFlow con el conjunto de datos de simulación CosmoFlow N-body.

Modelado molecular cuántico

Utiliza el modelo DimeNet++ con el conjunto de datos Open Catalyst 2020 (OC20).

Predicción de la estructura de proteínas

Utiliza el modelo OpenFold entrenado en el conjunto de datos OpenProteinSet.

Productos
Tecnologías
Software
Recursos