GPU NVIDIA A100 Tensor Core

I modelli IA diventano sempre più complessi nel tentativo di affrontare nuove sfide come l'IA conversazionale. Il training richiede un'enorme potenza di elaborazione e massima scalabilità.

I Tensor Core di nella NVIDIA A100 con precisione Tensor Float (TF32) offrono prestazioni 20 volte superiori rispetto alla NVIDIA Volta, senza alcuna alterazione del codice, e un ulteriore incremento pari a 2 volte con precisione mista e FP16. Con NVIDIA^® NVLink^®, NVIDIA NVSwitch^™, PCI Gen4, NVIDIA^® Mellanox^® InfiniBand^® e all'SDK NVIDIA Magnum IO^™, è possibile scalare a migliaia di GPU A100.

Un carico di lavoro di training come BERT può essere risolto in meno di un minuto con l'impiego di 2.048 GPU A100, un record di tempistiche mondiale.

Per i modelli più grandi con enormi tabelle di dati come i modelli di recommender basati su deep learning (DLRM), la A100 80GB raggiunge fino a 1,3 TB di memoria unificata per nodo e offre fino un aumento della produttività su A100 40GB fino a 3 volte superiore.

NVIDIA si conferma leader nel benchmark MLPerf, con vari record di prestazioni nel settore per il training con IA.

Quantum Espresso

Gli esperti di dati devono poter analizzare, visualizzare e convertire enormi set di dati in informazioni. Tuttavia, le soluzioni scale-out spesso si trasformano in una palude poiché i set di dati sono disseminati su più server.

I server accelerati con A100 offrono la necessaria potenza di calcolo, oltre a un'enorme memoria, con una banda superiore a 2 TB/sec, e scalabilità con NVIDIA^® NVLink^® e NVSwitch^™, per affrontare questi carichi di lavoro. Insieme a InfiniBand, NVIDIA Magnum IO^™ e la suite RAPIDS^™ di librerie open-source, tra cui RAPIDS Accelerator per Apache Spark per l'analisi dei dati accelerata da GPU, la piattaforma per data center NVIDIA è in grado di accelerare questi enormi carichi di lavoro a livelli senza precedenti in termini di prestazioni ed efficienza.

Su un benchmark di analisi dei big data, la A100 80GB ha fornito informazioni con un throughput 83 volte superiore rispetto alle CPU e prestazioni 2 volte superiori rispetto alla A100 40GB, il che la rende ideale per i carichi di lavoro emergenti con dimensioni di set di dati in esplosione.

La A100 con MIG massimizza l'utilizzo dell'infrastruttura GPU accelerata. Con MIG, una GPU A100 può essere partizionata in ben sette istanze indipendenti, consentendo a più utenti di accedere all'accelerazione con GPU. Con A100 40GB, ogni istanza MIG può ottenere fino a 5 GB e con la una maggiore capacità di memoria della A100 80GB, tali dimensioni raddoppiano a 10 GB.

MIG funziona con Kubernetes, container e virtualizzazione server basata su hypervisor. MIG consente ai gestori dell'infrastruttura di offrire una GPU di dimensioni adeguate con qualità del servizio garantita (QoS) per ogni processo, estendendo la portata delle risorse di elaborazione accelerate a tutti gli utenti.