NVIDIA Tensor Cores

Accelerazione senza pari per l'IA generativa

I Tensor Core consentono il calcolo con precisione mista che si adatta in modo dinamico per accelerare la produttività preservando l'accuratezza e garantendo sicurezza avanzata. La nuova generazione di Tensor Core è più veloce che mai su una gamma più ampia di attività IA e HPC. Con accelerazioni 4 volte superiori nel training di modelli IA generativi con miliardi di parametri e prestazioni di inferenza 45 volte superiori, gli NVIDIA Tensor Core accelerano tutti i carichi di lavoro per le moderne fabbriche IA.

Introduzione
Blackwell
Hopper
Specifiche

Introduzione

Introduzione
Blackwell
Hopper
Specifiche

Training con IA rivoluzionario

Il training di modelli di IA generativa con miliardi di parametri con precisione in virgola mobile a 16 bit (FP16) può richiedere mesi. Gli NVIDIA Tensor Core offrono prestazioni estremamente elevate in precisioni ridotte come FP8 nel Transformer Engine, Tensor Float 32 (TF32) e FP16. E con il supporto diretto nei framework nativi tramite le librerie CUDA-X™, l'implementazione è automatica, il che riduce drasticamente i tempi dal training alla convergenza, mantenendo l'accuratezza.

Motore di IA generativa all'avanguardia

La bassa latenza a produttività elevate, massimizzando l'utilizzo è il requisiti di prestazioni più importante per distribuire l'inferenza in modo affidabile. Il Transformer Engine di seconda generazione dell'architettura NVIDIA Blackwell offre prestazioni eccezionali e la versatilità per accelerare diversi modelli di IA generativa basati su miliardi di parametri.

I Tensor Core hanno permesso a NVIDIA di vincere i benchmark MLPerf di settore per l'inferenza.

HPC avanzato

L'HPC è un pilastro fondamentale della scienza moderna. Per sfruttare le scoperte di nuova generazione, gli scienziati usano simulazioni per comprendere al meglio il comportamento delle molecole e trovare nuovi farmaci, analizzano dati fisici per individuare potenziali nuove fondi di energia e dati atmosferici per prevedere e prepararsi a eventi metereologici estremi. Gli NVIDIA Tensor Core offrono una vasta gamma di precisioni, inclusa la FP64, per accelerare il calcolo scientifico con la massima accuratezza necessaria.

Gli SDK HPC forniscono compilatori, librerie e strumenti essenziali per lo sviluppo di applicazioni HPC per la piattaforma NVIDIA.

NVIDIA Blackwell Tensor Cores

Quinta generazione

L'architettura Blackwell offre un'accelerazione 30 volte superiore rispetto alla precedente generazione di NVIDIA Hopper™ per modelli massicci come GPT-MoE-1.8T. Questo aumento delle prestazioni è possibile grazie alla quinta generazione di Tensor Core. I Tensor Core di Blackwell aggiungono nuove precisioni, inclusi i formati di microscaling definiti dalla community, garantendo maggiore precisione e facilità di sostituzione per precisioni più elevate.

Scopri di più sull'architettura NVIDIA Blackwell

Nuove precisioni
Motore di IA generativa

Nuovi formati di precisione

Man mano che i modelli di IA generativa aumentano in dimensioni e complessità, è fondamentale migliorare le prestazioni di training e inferenza. Per soddisfare queste esigenze di calcolo, i Tensor Core di Blackwell supportano tutti i nuovi formati di quantizzazione e di precisione inclusi i formati di microscaling definiti dalla community.

Transformer Engine di seconda generazione

Il Transformer Engine di seconda generazione impiega la tecnologia Blackwell Tensor Core abbinata ai framework innovativi NVIDIA® TensorRT™-LLM e NeMo™ per accelerare l'inferenza e il training dei modelli linguistici di grandi dimensioni (LLM) e dei modelli MoE. Il Transformer Engine è alimentato dalla precisione FP4 dei Tensor Core, il che raddoppia le prestazioni e l'efficienza mantenendo un'elevata precisione per i modelli MoE attuali e di nuova generazione.

Il motore di IA generativa lavora per democratizzare gli LLM di oggi con prestazioni in tempo reale. Le aziende possono ottimizzare i processi aziendali distribuendo modelli di IA generativa all'avanguardia a costi convenienti.

NVIDIA Hopper Architecture Tensor Core

Quarta generazione

Dall'introduzione della tecnologia Tensor Core, le GPU NVIDIA Hopper hanno aumentato le prestazioni di picco di 60 volte, favorendo la democratizzazione del computing per IA e HPC. L'architettura NVIDIA Hopper™ potenzia i Tensor Core di quarta generazione con il Transformer Engine utilizzando una nuova precisione a virgola mobile a 8 bit (FP8) per fornire prestazioni 6 volte superiori rispetto alla FP16 per il training di modelli con miliardi di parametri. Insieme alle prestazioni 3 volte superiori con precisioni TF32, FP64, FP16 e INT8, i Tensor Core Hopper offrono le massime accelerazioni a tutti i carichi di lavoro.

Scopri di più sull'architettura NVIDIA Hopper

La piattaforma completa per data center IA e HPC più potente

I Tensor Core sono gli elementi costitutivi essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dal catalogo NVIDIA NGC™. Come piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile.

	Blackwell	Hopper
Precisioni supportate con Tensor Core	FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4	FP64, TF32, BF16, FP16, FP8, INT8
Precisioni supportate con CUDA® Core	FP64, FP32, FP16, BF16	FP64, FP32, FP16, BF16, INT8

*Specifiche preliminari, soggette a modifica

Scopri di più su NVIDIA Blackwell.

Scopri di più