Che cosa è MLPerf?
I benchmark MLPerf™, sviluppati da MLCommons, un consorzio di leader dell’IA provenienti dal mondo accademico, dai laboratori di ricerca e dall’industria, sono progettati per fornire valutazioni imparziali della formazione e delle prestazioni di inferenza per hardware, software e servizi. Il tutto condotto in condizioni prestabilite. Al fine di essere sempre all’avanguardia nelle tendenze del settore, MLPerf continua a evolversi, eseguendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano le ultime innovazioni dell’IA.
Dentro i benchmark MLPerf
MLPerf Inference v4.1 misura le prestazioni di inferenza su nove diversi benchmark, tra cui diversi modelli linguistici di grandi dimensioni (LLM), text-to-image, elaborazione del linguaggio naturale, sistemi recommender, computer vision e segmentazione di immagini mediche.
MLPerf Training v4.1 misura il tempo necessario per la formazione sulla base di sette diversi benchmark, tra cui pre-formazione di LLM, ottimizzazione di LLM, text-to-image, rete neurale a grafo (GNN), computer vision, raccomandazioni ed elaborazione del linguaggio naturale.
MLPerf HPC v3.0 misura le prestazioni della formazione in quattro diversi casi d'uso di calcolo scientifico, tra cui l'identificazione di fiumi atmosferici nella scienza del clima, la previsione dei parametri nella cosmologia, la modellazione molecolare quantistica e la previsione delle strutture proteiche.
I risultati NVIDIA nel benchmark MLPerf
-
Formazione
-
Inferenza
-
HPC
La piattaforma NVIDIA HGX™ B200, basata sulle GPU NVIDIA Blackwell, NVLink™ di quinta generazione e l'ultimo switch NVLink, ha consentito un ulteriore passo avanti nella formazione di LLM con MLPerf Training v4.1. Lavorando senza sosta alla progettazione full-stack a livello di data center, NVIDIA continua a superare i confini delle prestazioni della formazione dell'IA generativa, accelerando la creazione e la personalizzazione di modelli IA sempre più capaci.
NVIDIA Blackwell potenzia la formazione di LLM
Risultati MLPerf™ Training v4.1 tratti da http://www.mlcommons.org il 13 novembre 2024 dalle seguenti voci: 4.1-0060 (HGX H100, 2024, 512 GPU) nella categoria disponibile, 4.1-0082 (HGX B200, 2024, 64 GPU) nella categoria anteprima. Risultati di MLPerf™ Training v3.0, utilizzati per HGX H100 (2023, 512 GPU), tratti dalla voce 3.0-2069. Risultato di HGX A100, utilizzando 512 GPU, non verificato dalla MLCommons Association. Le prestazioni normalizzate per GPU non costituiscono una metrica primaria di MLPerf™ Training. Il nome e il logo MLPerf™ sono marchi registrati di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta http://www.mlcommons.org.
NVIDIA continua a offrire le massime prestazioni su larga scala
La piattaforma NVIDIA, basata sulle GPU NVIDIA Hopper™, NVLink di quarta generazione con NVSwitch™ di terza generazione e Quantum-2 InfiniBand, continua a offrire prestazioni e versatilità ineguagliabili in MLPerf Training v4.1. NVIDIA ha offerto il massimo delle prestazioni su larga scala in tutti e sette i benchmark.
Prestazioni di scala massima
| Benchmark | Time to Train | Number of GPUs |
|---|---|---|
| LLM (GPT-3 175B) | 3.4 minutes | 11,616 |
| LLM Fine-Tuning (Llama 2 70B-LoRA) | 1.2 minutes | 1,024 |
| Text-to-Image (Stable Diffusion v2) | 1.4 minutes | 1,024 |
| Graph Neural Network (R-GAT) | 0.9 minutes | 512 |
| Recommender (DLRM-DCNv2) | 1.0 minutes | 128 |
| Natural Language Processing (BERT) | 0.1 minutes | 3,472 |
| Object Detection (RetinaNet) | 0.8 minutes | 2,528 |
Risultati MLPerf™ Training v4.1 tratti da https://mlcommons.org il 13 novembre 2024 dalle seguenti voci: 4.1-0012, 4.1-0054, 4.1-0053, 4.1-0059, 4.1-0055, 4.10058, 4.1-0056. Il nome e il logo MLPerf™ sono marchi registrati di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta https://mlcommons.org.
La tecnologia dietro ai risultati
La complessità dell’IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma NVIDIA AI offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sui sistemi periferici con risultati incredibili.
Software ottimizzato che accelera i flussi di lavoro IA
Fattore essenziale dei risultati di formazione e inferenza MLPerf e della piattaforma NVIDIA, il catalogo NGC™ è un hub per IA, HPC e software di analisi dati ottimizzati da GPU che semplifica e accelera i flussi di lavoro end-to-end. Con oltre 150 container di livello aziendale, tra cui carichi di lavoro per l’IA generativa, l’IA conversazionale e i sistemi recommender, centinaia di modelli di AI e SDK specifici per il settore che possono essere distribuiti on premise, nel cloud o sui sistemi periferici, NGC consente a data scientist, ricercatori e sviluppatori di creare soluzioni all'avanguardia, raccogliere informazioni e offrire valore aziendale più velocemente che mai.
Infrastruttura IA leader
Per ottenere risultati leader a livello mondiale in materia di training e inferenza è necessaria un'infrastruttura appositamente costruita per le sfide dell'IA più complesse del mondo. La piattaforma NVIDIA AI ha offerto prestazioni leader grazie alla piattaforma NVIDIA Blackwell, alla piattaforma Hopper, NVLink™, NVSwitch™ e Quantum InfiniBand. Questi sono al centro della piattaforma per data center NVIDIA, il motore dietro le nostre prestazioni di benchmark.
Inoltre, i sistemi NVIDIA DGX™ offrono la scalabilità, la distribuzione rapida e l'incredibile potenza di elaborazione che permettono alle aziende di creare un'infrastruttura IA leader.
Sbloccare l'IA generativa al limite grazie a prestazioni trasformative
NVIDIA Jetson Orin offre un'ineguagliabile capacità di calcolo IA, una grande memoria unificata e stack software completi, offrendo un'efficienza energetica superiore per alimentare le ultime applicazioni di IA generativa. È in grado di effettuare inferenze rapide per qualsiasi modello di IA generativa alimentato dall'architettura Transformer, fornendo prestazioni edge superiori su MLPerf.
Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e la formazione in data center.
