Les benchmarks MLPerf™ sont développés par MLCommons, un consortium d'experts de l'IA issus du monde universitaire, des laboratoires de recherche et du secteur, et sont conçus pour fournir des évaluations impartiales des performances d'entraînement et d'inférence pour le matériel, les logiciels et les services. Les tests sont tous effectués selon des modalités prescrites. MLPerf évolue de manière continue en réalisant de nouveaux tests à intervalles réguliers et en intégrant de nouvelles charges de travail qui suivent les dernières évolutions de l'IA pour rester à la pointe des dernières tendances du secteur.
MLPerf Inference v4.1 mesure les performances de l'inférence sur neuf benchmarks différents, et notamment sur plusieurs grands modèles de langage (LLM), la conversion de texte à image, le traitement du langage naturel, les systèmes de recommandation, la vision par ordinateur et la segmentation des images médicales.
MLPerf Training v4.1 mesure le temps d'entraînement sur sept critères différents, notamment le pré-entraînement des LLM, l'affinage des LLM, la conversion de texte à image, les réseaux de neurones graphiques (GNN), la vision par ordinateur, les recommandations et le traitement du langage naturel.
MLPerf HPC v3.0 mesure les performances d'entraînement dans quatre cas d’utilisation de calcul scientifique différents : l'identification climatique des rivières atmosphériques, la prédiction de paramètres cosmologiques, la modélisation moléculaire quantique et la prédiction de la structure des protéines.
La plate-forme NVIDIA HGX™ B200, alimentée par les GPU NVIDIA Blackwell, NVLink™ de cinquième génération et le dernier NVLink Switch, nous a permis de faire un autre pas de géant pour l'entraînement LLM dans MLPerf Training v4.1. Grâce à une ingénierie complète à l'échelle des data centers, NVIDIA continue de repousser les limites des performances d'entraînement de l'IA générative, en accélérant la création et la personnalisation de modèles d'IA de plus en plus performants.
NVIDIA Blackwell améliore l'entraînement LLM
Résultats MLPerf™ Training v4.1 récupérés sur http://www.mlcommons.org le 13 novembre 2024, à partir des entrées suivantes : 4.1-0060 (HGX H100, 2024, 512 GPU) dans la catégorie disponible, 4.1-0082 (HGX B200, 2024, 64 GPU) dans la catégorie aperçu. Résultats MLPerf™ Training v3.0, utilisés pour HGX H100 (2023, 512 GPU), récupérés à partir de l'entrée 3.0-2069. Résultat HGX A100, utilisant 512 GPU, non vérifié par l'association MLCommons. Les performances normalisées par GPU ne sont pas une mesure principale de MLPerf™ Training. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus.
La plate-forme NVIDIA, alimentée par les GPU NVIDIA Hopper™, NVLink de quatrième génération avec NVSwitch™ de troisième génération et Quantum-2 InfiniBand, a continué à afficher des performances et une polyvalence inégalées dans MLPerf Training v4.1. NVIDIA a obtenu les meilleures performances à grande échelle sur les sept benchmarks.
Benchmark | Time to Train | Number of GPUs |
---|---|---|
LLM (GPT-3 175B) | 3.4 minutes | 11,616 |
LLM Fine-Tuning (Llama 2 70B-LoRA) | 1.2 minutes | 1,024 |
Text-to-Image (Stable Diffusion v2) | 1.4 minutes | 1,024 |
Graph Neural Network (R-GAT) | 0.9 minutes | 512 |
Recommender (DLRM-DCNv2) | 1.0 minutes | 128 |
Natural Language Processing (BERT) | 0.1 minutes | 3,472 |
Object Detection (RetinaNet) | 0.8 minutes | 2,528 |
Résultats MLPerf™ Training v4.1 récupérés sur https://mlcommons.org le 13 novembre 2024, à partir des entrées suivantes : 4.1-0012, 4.1-0054, 4.1-0053, 4.1-0059, 4.1-0055, 4.10058, 4.1-0056. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Voir https://mlcommons.org pour plus d'informations.
La complexité grandissante des nouvelles demandes de l’IA requiert une intégration étroite entre tous les aspects de la plate-forme. Comme nous l’avons démontré avec les résultats de benchmark de MLPerf, la plate-forme d’IA de NVIDIA offre des performances record avec le GPU le plus avancé au monde, des technologies d’interconnexion puissantes et évolutives ainsi que des logiciels de pointe, qui forment une solution avancée de bout en bout aux résultats exceptionnels pouvant être déployée dans le Data Center, dans le Cloud ou sur l’Edge.
Composant essentiel de la plate-forme de NVIDIA et facteur déterminant pour expliquer les résultats obtenus avec MLPerf, le catalogue NGC™ est un outil d'IA, de HPC et d'analyse de données optimisé par GPU qui simplifie et accélère les workflows de bout en bout. NGC permet aux data scientists, aux chercheurs et aux développeurs de créer des solutions de pointe, de récolter des informations et de générer de la valeur ajoutée à une vitesse sans précédent, et ce, grâce à plus de 150 conteneurs de qualité professionnelle, y compris des charges de travail pour l'IA générative, l'IA conversationnelle et les systèmes de recommandation, des centaines de modèles d'IA et des kits de développement logiciel spécifiques à des secteurs donnés et pouvant être déployés sur site, dans le Cloud ou à l'Edge.
L’obtention de résultats probants pour l’entraînement et l’inférence requiert une infrastructure spécifiquement conçue pour répondre aux défis les plus complexes au monde en matière d’IA. La plate-forme NVIDIA AI a offert des performances de pointe alimentées par la plate-forme NVIDIA Blackwell, la plate-forme Hopper, NVLink™, NVSwitch™ et Quantum InfiniBand. Tous ces éléments sont au cœur de la plate-forme de data centers NVIDIA, le moteur de nos performances de benchmark.
Les systèmes NVIDIA DGX™ offrent une évolutivité élevée, un déploiement rapide et une puissance de calcul exceptionnelle qui permettent à toutes les entreprises de concevoir des infrastructures d’IA à la pointe de la technologie.
NVIDIA Jetson Orin offre des capacités de calcul IA sans précédent, une grande mémoire unifiée et des piles logicielles complètes, le tout avec une efficacité énergétique sans précédent afin de tirer parti des applications d'IA générative les plus récentes. Son architecture de transformation permet une inférence rapide de n'importe quel modèle d'IA générative pour des performances de pointe à l'Edge sur le benchmark MLPerf.
En savoir plus sur nos performances d'entrainement et d'inférence de Data Center.