Un nuovo record nel MLPerf
Le soluzioni di training e inferenza NVIDIA offrono risultati MLPerf con performance da record, il benchmark leader del settore per le prestazioni IA.
Cos'è MLPerf?
MLPerf è un consorzio di leader nell'intelligenza artificiale per mondo accademico, laboratori di ricerca e settori la cui missione è la "creazione di benchmark equi e utili" che forniscano valutazioni imparziali sulle prestazioni di inferenza e training di hardware, software e servizi, il tutto condotto in condizioni prestabilite. Per rimanere all'avanguardia nelle tendenze del settore, MLPerf continua a evolversi, tenendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano lo stato dell'arte nell'IA.
Categorie di invio di contenuti MLPerf
MLPerf Training v1.0 è la quarta istanza di training e consiste in otto carichi di lavoro diversi che ricoprono svariati ambienti, tra cui la visione, la lingua, i consigli e l'apprendimento di rinforzo.
Il benchmark MLPerf Inference v0.7 ha testato sette diversi casi d'uso su sette diversi tipi di reti neurali. Tre di questi erano per computer vision, uno per i sistemi recommender, due per l'elaborazione del linguaggio e uno per la diagnostica per immagini.
Classificazione di immagini
Assegna un'etichetta proveniente da una serie fissa di categorie a un immagine acquisita, es. riguarda i problemi di visione del computer. Dettagli.
Rilevamento di oggetti (leggero)
Rileva istanze di oggetti del mondo reale come visi, biciclette ed edifici all'interno di immagini o video e delinea una bounding box attorno ad essi. dettagli.
Rilevamento di oggetti (pesante)
Rileva distinti oggetti d'interesse che vengono visualizzati in un immagine e calcola una maschera di pixel per ognuno. Dettagli.
Segmentazione delle immagini biomediche
Esegue la segmentazione volumetrica di immagini 3D dense per casi d'uso medici. Dettagli.
Riconoscimento vocale automatico (ASR)
Riconoscimento e trascrizione dell'audio in tempo reale. Dettagli.
Natural Language Processing (NLP)
Comprende il testo usando la relazione tra parole diverse in un blocco di testo. Consente la risposta alle domande, la parafrasi delle frasi e molti altri casi d'uso correlati alla lingua. Dettagli.
Recommender
Offre risultati personalizzati nei servizi rivolti agli utenti, come social media o siti di e-commerce, apprendendo le interazioni tra utenti e servizi, come prodotti o annunci. Dettagli.
Apprendimento di rinforzo
Valuta le diverse azioni possibili per massimizzare la ricompensa utilizzando il gioco di strategia Go giocato su una griglia 19x19. dettagli.
I risultati di NVIDIA nel benchmark MLPerf
-
Training
-
Inferenza
La GPU NVIDIA A100 Tensor Core e la NVIDIA DGX SuperPOD™ hanno stabilito tutti i 16 record di prestazioni di training, sia in carichi di lavoro per chip che su larga scala. Queste prestazioni rivoluzionarie derivano dalla stretta integrazione di hardware, software e tecnologie a livello di sistema. Il continuo investimento di NVIDIA nelle prestazioni full-stack ha portato a un miglioramento della produttività rispetto ai quattro contesti del MLPerf. La piattaforma NVIDIA eccelle sia in prestazioni che in usabilità, offrendo un'unica piattaforma di leadership dal data center all'Edge e fino al cloud.
PRESTAZIONI MLPERF PIÙ DI 20 VOLTE SUPERIORI IN 3 ANNI
L'innovazione full-stack di NVIDIA offre miglioramenti continui
Risultati normalizzati per la produttività grazie a requisiti di precisione più elevati sull'ultimo round di MLPerf 1.1
Confronto MLPerfID 0.5/0.7/1.1:
SSD: 0.5-23/0.7-53/1.1-2078 | BERT: 0.7-56/1.1-2083 | ResNet50v1.5: 0.5-17/0.7-55/1.1-2082 | Mask R-CNN: 0.5-22/0.7-48/1.1-2076 | Il logo e il nome MLPerf sono marchi registrati. Per ulteriori informazioni, visita www.mlperf.org.
NVIDIA HA STABILITO TUTTI I 16 RECORD
Per soluzioni disponibili in commercio
La piattaforma NVIDIA AI ha stabilito tutti gli 8 record per acceleratore utilizzando le GPU NVIDIA A100 nei server OEM e NVIDIA DGX. Ciò dimostra la forza dello stack hardware e software NVIDIA end-to-end che consente ai produttori di computer di fornire risultati record su MLPerf.
| BENCHMARK | Record di scala (min) | Record per acceleratore (min) |
|---|---|---|
| Recommender (DLRM) | 0.63 (DGX SuperPOD) | 13.5 (A100) |
| NLP (BERT) | 0.24 (DGX SuperPOD) | 155.1 (A100) |
| Riconoscimento vocale - Ricorrente (RNN-T) | 2.38 (DGX SuperPOD) | 267.0 (A100) |
| Rilevamento di oggetti (pesante) (Mask R-CNN) | 3.24 (DGX SuperPOD) | 335.1 (A100) |
| Rilevamento di oggetti (leggero) (SSD) | 0.45 (DGX SuperPOD) | 63.8 (A100) |
| Classificazione di immagini (ResNet-50 v1.5) | 0.35 (DGX SuperPOD) | 220.5 (A100) |
| Segmentazione delle immagini (3D-Unet) | 1.26 (Microsoft Azure NDm A100 v4) | 187.7 (A100) |
| Apprendimento per rinforzo (MiniGo) | 15.47 (DGX SuperPOD) | 1805.2 (A100) |
Prestazioni per acceleratore per A100 calcolate utilizzando il time-to-train del partner NVIDIA a nodo singolo e moltiplicandolo per il numero di chip | I confronti delle prestazioni per chip con altri sono ottenuti confrontando le prestazioni alla scala simile più vicina.
Record di scala massima: DLRM: 1.1-2073 | BERT: 1.1-2083 | Mask R-CNN: 1.1-2076 | Resnet50 v1.5: 1.1-2082 | SSD: 1.1-2078 | RNN-T: 1.1-2080 | 3D-Unet: 1.1-2012 | MiniGo: 1.1-2081
Record per acceleratore: DLRM: 1.1-2084 | BERT: 1.1-2053 | Mask R-CNN: 1.1-2031 | Resnet50 v1.5: 1.1-2050 | SSD: 1.1-2050 | RNN-T: 1.1-2052 | 3D-Unet: 1.1-2051 | MiniGo: 1.1-2031
Il nome e il logo MLPerf sono marchi registrati. Per ulteriori informazioni, visita www.mlperf.org.
NVIDIA ha ottenuto i migliori risultati di prestazioni in tutti gli scenari (server in data center e offline, con Edge single-stream, multi-stream e offline). Inoltre, abbiamo ottenuto le migliori prestazioni per acceleratore tra tutti i prodotti testati nei test del benchmark. Questi risultati sono una vera e propria certificazione non solo della leadership di NVIDIA nelle prestazioni per inferenza, ma anche della versatilità della nostra piattaforma.
Scenario offline per data center e edge (GPU singola)
| NVIDIA A100 (CPU x86) (inferenze/secondo) |
NVIDIA A100 (CPU Arm) (inferenze/secondo) |
NVIDIA A30 (inferenze/secondo) |
NVIDIA® Jetson Xavier™ (max inferenze/query) |
|
|---|---|---|---|---|
| DLRM (recommender) |
302.680 | 274.433 | 135.450 | N/D* |
| BERT (elaborazione del linguaggio naturale) |
3.538 | 3.151 | 1.673 | 97 |
| ResNet-50 v1.5 (classificazione di immagini) |
39.190 | 36.436 | 18.647 | 2.039 |
| ResNet-34 (rilevatore grande single-shot) |
981 | 901 | 474 | 55 |
| RNN-T (riconoscimento vocale) |
13.365 | 12.640 | 6.574 | 416 |
| 3D U-Net (diagnostica per immagini) |
61 | 57 | 30 | 3 |
*DLRM non fa parte della suite di categorie Edge.
1) MLPerf v1.1 Inferenza risultati per fattori di forma server data center e scenario offline recuperati da: www.mlperf.org il 22 settembre 2021, dalle voci Inf-1.1-047, Inf-1.1-43, Inf-1.1-023-026. Le prestazioni per processore vengono calcolate dividendo la metrica principale delle prestazioni complessive per il numero di acceleratori segnalati.
2) MLPerf v1.1 Inferenza risultati per fattori di forma edge su scenario offline recuperati da: www.mlperf.org a settembre 2021, dalle voci 1.1-117. Le prestazioni per processore vengono calcolate dividendo la metrica principale delle prestazioni complessive per il numero di acceleratori segnalati.
La tecnologia dietro ai risultati
La complessità dell'IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma IA NVIDIA offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sull'edge con risultati straordinari.
Software ottimizzato che accelera i flussi di lavoro IA
Fattore essenziale dei risultati di training e inferenze MLPerf e della piattaforma NVIDIA, il catalogo NGC™ è un hub ottimizzato da GPU per software IA, calcolo ad alte prestazioni (HPC) e analisi dei dati che semplifica e accelera i flussi di lavoro completi. Con oltre 150 container di livello enterprise, cui carichi di lavoro per IA conversazionale e sistemi recommender, oltre 100 modelli e SDK specifici per settore che possono essere distribuiti in locale, nel cloud o sui sistemi Edge, il catalogo NGC permette agli esperti di dati, ai ricercatori e agli sviluppatori di creare soluzioni all'avanguardia, ricavare dati utili e fornire valore aziendale più velocemente che mai.
Infrastruttura IA leader
Per ottenere risultati leader a livello mondiale in materia di training e inferenza è necessaria un'infrastruttura appositamente costruita per le sfide di intelligenza artificiale più complesse del mondo. La piattaforma NVIDIA AI fornita con la potenza della GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A2 Tensor Core e la scalabilità e flessibilità delle tecnologie di interconnessine NVIDIA, NVIDIA NVLink®, NVIDIA NVSwitch™ e NVIDIA ConnectX®-6 VPI. Questi prodotti sono al centro della NVIDIA DGX A100™, il motore dietro le nostre prestazioni di riferimento.
I sistemi NVIDIA DGX™ offrono la scalabilità, la rapida installazione e l'incredibile potenza di elaborazione utili per tutte le aziende per progettare un'infrastruttura IA a livello di leadership.
Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e il training del data center.
