¿Qué es MLPerf?
Las pruebas de referencia de MLPerf™ —desarrolladas por MLCommons, un consorcio de líderes de IA del mundo académico, laboratorios de investigación y la industria— están diseñadas para proporcionar evaluaciones imparciales de entrenamiento y rendimiento de inferencia para hardware, software y servicios. Todas se realizan en las condiciones prescritas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf está en constante evolución, realizando nuevas pruebas a intervalos regulares y agregando nuevas cargas de trabajo que representan la IA más avanzada.
Dentro de las pruebas de referencia de MLPerf
MLPerf Inference v4.1 mide el rendimiento de la inferencia en nueve puntos de referencia diferentes, incluidos varios modelos lingüísticos de gran tamaño (LLM), texto a imagen, procesamiento de lenguaje natural, recomendaciones, visión por ordenador y segmentación de imágenes médicas.
MLPerf Training v4.1 mide el tiempo para entrenar en siete puntos de referencia diferentes, incluida la formación previa de LLM, la puesta a punto de LLM, la conversión de texto a imagen, la red neuronal de gráficos (GNN), la visión por ordenador, la recomendación y el procesamiento del lenguaje natural.
MLPerf HPC v3.0 mide el rendimiento de entrenamiento en cuatro casos de uso de computación científica diferentes, incluida la identificación de ríos atmosféricos, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la predicción de estructuras de proteínas.
Resultados de las pruebas de referencia de MLPerf de NVIDIA
-
Formación
-
Inferencia
-
HPC
La plataforma NVIDIA HGX™ B200, con tecnología GPU NVIDIA Blackwell, NVLink™ de quinta generación y el último NVLink Switch, ofrecieron otro salto de gigante para la formación de LLM en MLPerf Training v4.1. A través de una implacable ingeniería de pila completa a escala de centro de datos, NVIDIA no deja de superar los límites del rendimiento del entrenamiento de IA generativa, lo que acelera la creación y la personalización de modelos de IA cada vez más capaces.
NVIDIA Blackwell potencia el entrenamiento de los LLM
Los resultados de MLPerf™ Training v4.1 se recuperaron de http://www.mlcommons.org el 13 de noviembre de 2024, de las siguientes entradas: 4.1-0060 (HGX H100, 2024, 512 GPU) en la categoría disponible, 4.1-0082 (HGX B200, 2024, 64 GPU) en la categoría de vista previa. Los resultados de MLPerf™ Training v3.0, utilizados para HGX H100 (2023, 512 GPU), recuperados de la entrada 3.0-2069. El resultado de HGX A100, utilizando 512 GPU, no ha sido verificado por la asociación MLCommons. El rendimiento normalizado por GPU no es una métrica principal de MLPerf™ Training. El nombre y el logotipo de MLPerf™ son marcas comerciales de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte http://www.mlcommons.org para obtener más información.
NVIDIA continúa ofreciendo el más alto rendimiento a escala
La plataforma NVIDIA, con tecnología GPU NVIDIA Hopper™, NVLink de cuarta generación con NVSwitch™ de tercera generación y Quantum-2 InfiniBand, sigue demostrando un rendimiento y versatilidad sin igual en MLPerf Training v4.1. NVIDIA ofreció el más alto rendimiento a escala en los siete índices de referencia.
Rendimiento de máxima escala
| Benchmark | Time to Train | Number of GPUs |
|---|---|---|
| LLM (GPT-3 175B) | 3.4 minutes | 11,616 |
| LLM Fine-Tuning (Llama 2 70B-LoRA) | 1.2 minutes | 1,024 |
| Text-to-Image (Stable Diffusion v2) | 1.4 minutes | 1,024 |
| Graph Neural Network (R-GAT) | 0.9 minutes | 512 |
| Recommender (DLRM-DCNv2) | 1.0 minutes | 128 |
| Natural Language Processing (BERT) | 0.1 minutes | 3,472 |
| Object Detection (RetinaNet) | 0.8 minutes | 2,528 |
Los resultados de MLPerf™ Training v4.1 fueron recuperados de https://mlcommons.org el 13 de noviembre de 2024, de las siguientes entradas: 4.1-0012, 4.1-0054, 4.1-0053, 4.1-0059, 4.1-0055, 4.10058, 4.1-0056. El nombre y el logotipo de MLPerf™ son marcas comerciales de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte https://mlcommons.org para obtener más información.
La tecnología detrás de los resultados
La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.
Software optimizado que acelera los flujos de trabajo de IA
Un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, el catálogo NGC™ es un centro para software de IA, HPC y análisis de datos optimizado para GPU que simplifica y acelera los flujos de trabajo de extremo a extremo. Con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA generativa, IA conversacional, sistemas de recomendación y cientos de modelos de IA y SDK específicos del sector que se pueden implementar en las instalaciones, en la nube o en el perímetro, NGC permite a científicos de datos, investigadores y desarrolladores crear las mejores soluciones, recopilar información y ofrecer valor comercial más rápido que nunca.
Infraestructura de IA de nivel de liderazgo
Para lograr resultados de primera línea en formación e inferencia, se requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma NVIDIA AI proporcionó un rendimiento líder sobre la plataforma NVIDIA Blackwell, la plataforma Hopper, NVLink™, NVSwitch™ y Quantum InfiniBand. Todas ellas son partes esenciales de la plataforma de centros de datos de NVIDIA, el motor detrás de nuestro rendimiento en índices de referencia.
Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de nivel de liderazgo.
Liberar la IA generativa en el perímetro con un rendimiento transformador
NVIDIA Jetson Orin ofrece computación de IA sin precedentes, gran memoria unificada y pilas de software completas con una eficiencia energética superior para impulsar las aplicaciones de IA generativa más recientes. Es capaz de realizar inferencias rápidamente para cualquier modelo de IA generativa impulsado por la arquitectura del transformador, proporcionando un rendimiento perimetral superior en MLPerf.
Obtenga más información sobre el rendimiento de inferencia y de entrenamiento de nuestro centro de datos.
