GPU NVIDIA H200 Tensor Core

Potenziare i carichi di lavoro IA e HPC.

Ora disponibile

Scheda tecnica | Specifiche | Prestazioni del prodotto per data center

La GPU per IA generativa e HPC

a GPU NVIDIA H200 Tensor Core potenzia i carichi di lavoro IA e HPC generativi con prestazioni e capacità di memoria rivoluzionarie. Come prima GPU con HBM3e, la memoria più grande e veloce della H200 alimenta l'IA generativa e modelli linguistici di grandi dimensioni (LLM), migliorando al contempo il calcolo scientifico per i carichi di lavoro HPC.

NVIDIA potenzia Hopper, la piattaforma di calcolo IA leader mondiale

La scheda NVIDIA HGX H200 include la GPU NVIDIA H200 Tensor Core con memoria avanzata per gestire enormi quantità di dati per carichi di lavoro IA generativi e calcolo ad alte prestazioni.

Leggi il tuo Comunicato stampa

In evidenza

Scopri le prestazioni di livello superiore

Inferenza Llama2 70B

1.9X più veloce

Inferenza GPT-3 175B

1.6X più veloce

Calcolo ad alte prestazioni

110X più veloce

Vantaggi

Prestazioni più elevate con una memoria più ampia e veloce

Basata su architettura NVIDIA Hopper™, la scheda NVIDIA H200 è la prima GPU a offrire 141 gigabyte (GB) di memoria HBM3e a 4,8 terabyte al secondo (TB/s), ovvero quasi il doppio della capacità della GPU NVIDIA H100 Tensor Core con una banda di memoria 1,4 volte superiore. La memoria più grande e veloce della H200 accelera l'IA generativa e gli LLM, potenziando al contempo il calcolo scientifico per i carichi di lavoro HPC, con una migliore efficienza energetica e un costo totale di proprietà inferiore.

Ottieni informazioni fruibili e dettagliate con l'inferenza LLM ad alte prestazioni

Nel panorama in continua evoluzione dell'IA, le aziende si affidano agli LLM per affrontare una vasta gamma di esigenze di inferenza. Un acceleratore di inferenza IA deve fornire il massimo throughput al TCO più basso, se distribuito su larga scala per una vasta base di utenti.

La H200 aumenta la velocità di inferenza fino a 2 volte rispetto alle GPU H100 nella gestione degli LLM come Llama2.

Scopri la piattaforma per inferenza con IA di NVIDIA

Potenziare il calcolo ad alte prestazioni

La larghezza di banda della memoria è fondamentale per le applicazioni di HPC, in quanto consente un trasferimento più rapido dei dati, riducendo i colli di bottiglia nelle elaborazioni complesse. Per le applicazioni HPC ad alta intensità di memoria come le simulazioni, la ricerca scientifica e l'intelligenza artificiale, la maggiore larghezza di banda della memoria della H200 garantisce che i dati siano accessibili e manipolabili in modo efficiente, con risultati fino a 110 volte più veloci rispetto alle CPU.

Scopri di più sul calcolo ad alte prestazioni

Specifiche preliminari. Dati possibilmente soggetti a modifica.
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32

Riduci energia e TCO

Con l'introduzione della H200, l'efficienza energetica e il TCO raggiungono nuovi livelli. Questa tecnologia all'avanguardia offre prestazioni senza pari, il tutto all'interno dello stesso profilo di potenza della H100. Le fabbriche IA e i sistemi di supercomputing, non solo più veloci ma anche più ecologici, offrono vantaggi finanziari che favoriscono l'avanzata dell'IA e il lavoro della comunità scientifica.

Scopri di più sul calcolo sostenibile

Accelerazione con l'IA per i server aziendali tradizionali

La NVIDIA H200 NVL è la scelta ideale per i clienti con vincoli di spazio all'interno del data center, offre accelerazione per ogni carico di lavoro IA e HPC, a prescindere dalle dimensioni. Con un aumento della memoria di 1,5 volte e una larghezza di banda di 1,2 volte superiore rispetto alla generazione precedente, i clienti possono calibrare gli LLM in poche ore ed eseguire l'inferenza degli LLM 1,8 volte più velocemente.

Pronto per l'impresa: il software IA semplifica lo sviluppo e la distribuzione

NVIDIA AI Enterprise, insieme alla NVIDIA H200, semplifica la creazione di una piattaforma pronta per l'IA, accelerando lo sviluppo e la distribuzione di applicazioni di IA generativa, computer vision, IA vocale e non solo. Insieme ai microservizi di inferenza NIM, le distribuzioni offrono sicurezza, gestibilità, stabilità e supporto di livello aziendale. Il risultato? Intuizioni più rapide e fruibili e valore aziendale tangibile in tempi più rapidi.

Attiva la tua licenza NVIDIA AI Enterprise

Specifiche