GPU NVIDIA H200 Tensor Core
Accélération significative des charges de travail d'IA et de HPC.
GPU dédié à l'IA générative et au HPC
Le GPU NVIDIA H200 Tensor Core accélère les charges de travail d'IA générative et de calcul haute performance (HPC) avec d'importantes capacités de mémoire et des performances révolutionnaires. Tout premier GPU doté d'une interface HBM3e, le H200 dispose d'une mémoire plus importante et plus rapide qui permet d’accélérer les modèles d’IA générative et les grands modèles de langage (LLM), tout en faisant avancer le calcul scientifique avec un traitement optimisé des charges de travail de HPC.
Points-clés
Expérimentez des performances de pointe
Inférence LLama2 70B
1.9X Plus rapide
Inférence GPT-3 175B
1.6X Plus rapide
Calcul haute performance
110X Plus rapide
Avantages
Performances accrues avec une mémoire plus importante et plus rapide
Basé sur l'architecture NVIDIA Hopper™, leNVIDIA H200 est le tout premier GPU à proposer 141 Go de mémoire HBM3e avec une bande passante de 4,8 téraoctets par seconde (To/s) ; soit près du double de la capacité de mémoire d'un GPU NVIDIA H100 Tensor Core avec une bande passante 1,4 fois plus importante. La mémoire du GPU H200, à la fois plus importante et plus rapide, permet d’accélérer l'IA générative et les LLM tout en faisant avancer le calcul scientifique avec un traitement optimisé des charges de travail de HPC grâce à une meilleure efficacité énergétique et à une réduction significative du coût total de possession.
Spécifications préliminaires. Susceptibles d'être modifiées.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
Collectez des données à forte valeur ajoutée avec une inférence à hautes performances pour les LLM
Dans le monde de l’IA en évolution permanente, les entreprises exploitent les LLM pour répondre à une grande variété de besoins en matière d’inférence. Un accélérateur d’inférences reposant sur l'IA se doit d’offrir un rendement maximal avec un coût total de possession minimal lorsqu’il est déployé à grande échelle pour un nombre important d’utilisateurs.
Le GPU H200 accélère jusqu'à 2 fois la vitesse d’inférence avec des LLM comme Llama2 par rapport au GPU H100.
Accélérez le calcul haute performance
Une bonne bande passante mémoire est cruciale pour les applications de HPC car elle permet un transfert de données nettement plus rapide, ce qui réduit les goulets d’étranglement relatifs au traitement informatique. Pour les applications HPC gourmandes en mémoire telles que la simulation, la recherche scientifique ou l’intelligence artificielle, la bande passante plus importante du GPU H200 permet d’accéder aux données et de les manipuler plus efficacement, d'où l'obtention de résultats jusqu'à 110 fois plus rapidement qu’avec les configurations uniquement basées sur le traitement CPU.
Spécifications préliminaires. Susceptibles d'être modifiées.
HPC MILC - Jeu de données NERSC Apex Medium | 4 GPU HGX H200 | 2x Sapphire Rapids 8480|Applications HPC - CP2K : jeu de données H2O-32-RI-dRPA-96points | GROMACS : jeu de données STMV | ICON : jeu de données r2b5 | MILC : jeu de données NERSC Apex Medium | Chroma : jeu de données HMC Medium | Quantum Espresso : jeu de données AUSURF112 | 1x H100 SXM | 1x H200 SXM.
Accélération de l'IA pour les serveurs d’entreprise grand public
NVIDIA H200 NVL est idéal pour les conceptions de rack d'entreprise moins puissantes et à refroidissement par air qui nécessitent des configurations flexibles, offrant une accélération pour chaque charge de travail d'IA et de HPC, quelle que soit sa taille. Grâce à jusqu'à quatre GPU connectés par NVIDIA NVLink™ et à 1,5 fois plus de mémoire, l'inférence des grands modèles de langage (LLM) peut être accélérée jusqu'à 1,7 fois et les applications HPC peuvent être accélérées jusqu'à 1,3 fois plus de performances que le H100 NVL.
Prêt pour l'entreprise : les logiciels d'IA rationalisent le développement et le déploiement
La NVIDIA H200 NVL est offerte avec un abonnement NVIDIA AI Enterprise de cinq ans et simplifie la création de votre plate-forme d'entreprise prête pour l'IA. H200 accélère le développement et le déploiement de l'IA pour des solutions d'IA génératives prêtes à la production, notamment la vision par ordinateur, la reconnaissance vocale par l'lA, la génération augmentée de récupération (RAG), et plus encore. NVIDIA AI Enterprise inclut NVIDIA NIM™, un ensemble de microservices faciles à utiliser conçus pour accélérer le déploiement de l'IA générative en entreprise. Ensemble, les déploiements offrent une sécurité, une facilité de gestion, une stabilité et un support de niveau d'entreprise. Cela permet des solutions d’IA optimisées pour les performances qui offrent une valeur commerciale plus rapide et des données exploitables.
Spécifications
GPU NVIDIA H200 Tensor Core
| Configuration | H200 SXM¹ | H200 NVL¹ |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor Core² | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor Core² | 1,979 TFLOPS | 1 671 TFLOPS |
| FP16 Tensor Core² | 1,979 TFLOPS | 1 671 TFLOPS |
| FP8 Tensor Core² | 3,958 TFLOPS | 3 341 TFLOPS |
| INT8 Tensor Core² | 3,958 TFLOPS | 3 341 TFLOPS |
| Mémoire GPU | 141 Go | 141 Go |
| Bande passante GPU | 4.8TB/s | 4,8 To/s |
| Décodeurs | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| NVIDIA Confidential Computing | Oui | Pris en charge |
| Enveloppe thermique (TDP) | Jusqu’à 700 W(configurable) | Jusqu’à 600 W(configurable) |
| GPU multi-instances | Jusqu’à 7 instances MIG à 18 Go | Jusqu'à 7 MIG @16,5 Go chacun |
| Configuration | SXM | PCIe Refroidissement par air Dual-Slot |
| Interconnexion | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
Pont NVIDIA NVLink à 2 ou 4 voies : 900 Go/s par GPU PCIe Gen5 : 128 Go/s |
| Options de serveur | Systèmes partenaires NVIDIA HGX™ H200 et Systèmes certifiés NVIDIA™ avec 4 ou 8 GPU | Partenaire NVIDIA MGX™ H200 NVL et systèmes NVIDIA certifiés avec jusqu'à 8 GPU |
| NVIDIA AI Enterprise | Module d'extension | Inclus |
|
1 Spécifications préliminaires. Susceptibles d'être modifiées. |
||
Obtenez plus d’informations sur les performances d’entraînement et d’inférence de notre système pour Data Center.