Switch NVLink e NVSwitch

Le fondamenta della comunicazione ad alta velocità e multi-GPU per alimentare più velocemente grandi set di dati nei modelli e scambiare rapidamente dati tra GPU.

L'esigenza di interconnessioni più veloci e più scalabili

La capacità di sfruttare tutto il potenziale del calcolo exascale e dei modelli IA da miliardi di parametri scaturisce dalla necessità di una comunicazione rapida e fluida tra tutte le GPU all'interno di un cluster di server. La quinta generazione di NVIDIA® NVLink® è un'interconnessione scale-up che libera prestazioni accelerate per modelli IA con parametri nell'ordine di grandezza dei miliardi di miliardi.

Massimizzare il throughput del sistema con NVIDIA NVLink

NVLink di quinta generazione migliora notevolmente la scalabilità per sistemi multi-GPU di grandi dimensioni. Una singola GPU NVIDIA Blackwell Tensor Core supporta fino a 18 connessioni NVLink a 100 gigabyte al secondo (GB/s) per una larghezza di banda totale di 1,8 terabyte al secondo (TB/sec), il doppio della banda rispetto alla generazione precedente e oltre 14 volte la banda di PCIe Gen5. Le piattaforme server come la GB200 NVL72 sfruttano questa tecnologia per offrire maggiore scalabilità per i modelli più complessi di grandi dimensioni di oggi.

Prestazioni di NVLink

NVLink in NVIDIA H100 aumenta la banda di comunicazione tra GPU di 1,5 volte rispetto alla generazione precedente, permettendo ai ricercatori di utilizzare applicazioni più grandi e più sofisticate per risolvere problemi sempre più complessi.

Aumenta il throughput della GPU con le comunicazioni NVLink

Collega le GPU con NVIDIA NVLink e NVLink Switch

NVLink è un'interconnessione bidirezionale a 1,8 TB/s, diretta GPU-GPU che scala I/O multi-GPU all'interno di un server. I chip NVIDIA NVLink Switch connettono più NVLink per consentire la comunicazione tra tutte le GPU alla massima velocità del NVLink in un singolo rack e tra più rack.

Per consentire l'esecuzione operazioni collettive ad alta velocità, ogni NVLink Switch dispone di engine per NVIDIA SHARP™ (Scalable Hierarchical Aggregation Reduction Protocol) per riduzioni in rete e accelerazione multicast.

Scopri di più su NVLink Switch

Addestra modelli con miliardi di parametri con NVLink Switch System

Con NVLink Switch, le connessioni NVLink possono essere estese su più nodi per creare un cluster GPU fluido, a elevata larghezza di banda e multi-nodo, formando efficacemente una GPU di dimensioni da data center. NVIDIA NVLink Switch consente 130 TB/s di larghezza di banda della GPU in una sola NVL72 per il parallelismo di modelli di grandi dimensioni. I cluster multi-server con NVLink scalano le comunicazioni tramite GPU in modo da bilanciare le prestazioni di calcolo, così che NVL72 possa supportare un totale di GPU 9 volte superiore rispetto a un singolo sistema a otto GPU.

Scopri di più su NVIDIA GB200 NVL72

NVIDIA NVLink Switch

NVIDIA NVLink Switch include 144 porte NVLink con una capacità di commutazione non bloccante di 14,4 terabyte al secondo (TB/s). Lo switch rack è progettato per fornire elevata larghezza di banda e bassa latenza nei sistemi NVIDIA GB200 NVL72 che supportano la connettività NVLink esterna di quinta generazione.

Leggi il blog tecnico

Scalabilità da enterprise a exascale

Connessione piena per prestazioni senza pari

NVLink Switch di quarta generazione è il primo chip switch di livello rack in grado di supportare fino a 576 GPU completamente connesse in un fabric di calcolo non bloccante. NVLink Switch interconnette ogni coppia di GPU con un'incredibile velocità di 1,800 GB/s. Supporta la comunicazione completa all-to-all. Le 72 GPU in GB200 NVL72 possono essere utilizzate come singolo acceleratore ad alte prestazioni con fino a 1,4 exaFLOPS di potenza di calcolo con IA.

La piattaforma per IA e HPC più potente.

NVLink e NVLink Switch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dalla suite software NVIDIA AI Enterprise e dal catalogo NVIDIA NGC™. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza.

Specifiche

NVLink
NVLink Switch

	Seconda generazione	Terza generazione	Quarta generazione	Quinta generazione
Banda NVLink per GPU	200 GB/s	600 GB/s	900 GB/s	1.800 GB/s
Numero massimo di link per GPU	6	12	18	18
Architetture NVIDIA supportate	Architettura NVIDIA Volta™	Architettura NVIDIA Ampere	architettura NVIDIA Hopper™	dell'architettura NVIDIA Blackwell

	Prima generazione	Seconda generazione	Terza generazione	NVLink Switch
Numero di GPU con connessione diretta al dominio NVLink	Fino a 8	Fino a 8	Fino a 8	Fino a 576
Banda GPU-GPU NVSwitch	200 GB/s	600 GB/s	900 GB/s	1.800 GB/s
Banda totale aggregata	2,4 TB/s	4,8 TB/s	7,2 TB/s	1 PB/s
Architetture NVIDIA supportate	Architettura NVIDIA Volta™	Architettura NVIDIA Ampere	architettura NVIDIA Hopper™	dell'architettura NVIDIA Blackwell

Specifiche preliminari, soggette a modifica.

Approfondisci l'architettura NVIDIA Blackwell

Scopri di più