GPU NVIDIA H200 Tensor Core

Potenziare i carichi di lavoro IA e HPC.

Ora disponibile

Scheda tecnica | Specifiche | Prestazioni del prodotto per data center

La GPU per IA generativa e HPC

a GPU NVIDIA H200 Tensor Core potenzia i carichi di lavoro IA e HPC generativi con prestazioni e capacità di memoria rivoluzionarie. Come prima GPU con HBM3e, la memoria più grande e veloce della H200 alimenta l'IA generativa e modelli linguistici di grandi dimensioni (LLM), migliorando al contempo il calcolo scientifico per i carichi di lavoro HPC.

NVIDIA potenzia Hopper, la piattaforma di calcolo IA leader mondiale

La scheda NVIDIA HGX H200 include la GPU NVIDIA H200 Tensor Core con memoria avanzata per gestire enormi quantità di dati per carichi di lavoro IA generativi e calcolo ad alte prestazioni.

Leggi il tuo Comunicato stampa

In evidenza

Scopri le prestazioni di livello superiore

Inferenza Llama2 70B

1.9X più veloce

Inferenza GPT-3 175B

1.6X più veloce

Calcolo ad alte prestazioni

110X più veloce

Vantaggi

Prestazioni più elevate con una memoria più ampia e veloce

Basata su architettura NVIDIA Hopper™, la scheda NVIDIA H200 è la prima GPU a offrire 141 gigabyte (GB) di memoria HBM3e a 4,8 terabyte al secondo (TB/s), ovvero quasi il doppio della capacità della GPU NVIDIA H100 Tensor Core con una banda di memoria 1,4 volte superiore. La memoria più grande e veloce della H200 accelera l'IA generativa e gli LLM, potenziando al contempo il calcolo scientifico per i carichi di lavoro HPC, con una migliore efficienza energetica e un costo totale di proprietà inferiore.

Ottieni informazioni fruibili e dettagliate con l'inferenza LLM ad alte prestazioni

Nel panorama in continua evoluzione dell'IA, le aziende si affidano agli LLM per affrontare una vasta gamma di esigenze di inferenza. Un acceleratore di inferenza IA deve fornire il massimo throughput al TCO più basso, se distribuito su larga scala per una vasta base di utenti.

La H200 aumenta la velocità di inferenza fino a 2 volte rispetto alle GPU H100 nella gestione degli LLM come Llama2.

Scopri la piattaforma per inferenza con IA di NVIDIA

Potenziare il calcolo ad alte prestazioni

La larghezza di banda della memoria è fondamentale per le applicazioni di HPC, in quanto consente un trasferimento più rapido dei dati, riducendo i colli di bottiglia nelle elaborazioni complesse. Per le applicazioni HPC ad alta intensità di memoria come le simulazioni, la ricerca scientifica e l'intelligenza artificiale, la maggiore larghezza di banda della memoria della H200 garantisce che i dati siano accessibili e manipolabili in modo efficiente, con risultati fino a 110 volte più veloci rispetto alle CPU.

Scopri di più sul calcolo ad alte prestazioni

Specifiche preliminari. Dati possibilmente soggetti a modifica.
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32

Riduci energia e TCO

Con l'introduzione della H200, l'efficienza energetica e il TCO raggiungono nuovi livelli. Questa tecnologia all'avanguardia offre prestazioni senza pari, il tutto all'interno dello stesso profilo di potenza della H100. Le fabbriche IA e i sistemi di supercomputing, non solo più veloci ma anche più ecologici, offrono vantaggi finanziari che favoriscono l'avanzata dell'IA e il lavoro della comunità scientifica.

Scopri di più sul calcolo sostenibile

Accelerazione con l'IA per i server aziendali tradizionali

NVIDIA H200 NVL è ideale per progetti di rack aziendali con un consumo energetico inferiore e raffreddamento ad aria che richiedono configurazioni flessibili, accelerando ciascun carico di lavoro IA e HPC, indipendentemente dalle dimensioni. Con un massimo di quattro GPU connesse da NVIDIA NVLink™ e un aumento di memoria di 1,5 volte, è possibile accelerare l'inferenza dei modelli linguistici di grandi dimensioni (LLM) fino a 1,7 volte, mentre le applicazioni HPC possono ottenere prestazioni fino a 1,3 volte superiori rispetto all'H100 NVL.

Pronto per le aziende: il software IA semplifica lo sviluppo e la distribuzione

NVIDIA H200 NVL è disponibile in bundle con un abbonamento NVIDIA AI Enterprise della durata di cinque anni e semplifica la costruzione di piattaforme aziendali pronte per l'IA. H200 accelera lo sviluppo e la distribuzione di soluzioni di IA generativa pronte per la produzione, tra cui visione artificiale, IA vocale, generazione aumentata di recupero (RAG) e altro ancora. NVIDIA AI Enterprise include NVIDIA NIM™, un set di microservizi di facile utilizzo progettati per velocizzare la distribuzione dell’IA generativa aziendale. Insieme, le distribuzioni offrono sicurezza, gestibilità, stabilità e supporto di livello aziendale. Ciò si traduce in soluzioni di intelligenza artificiale ottimizzate per le prestazioni che offrono un valore aziendale più rapido e informazioni attuabili.

Attiva la tua licenza NVIDIA AI Enterprise

Specifiche