NVIDIA H200 Tensor Core-Grafikkarte

Superturbo für KI- und HPC-Workloads.

Jetzt verfügbar.

Datenblatt | Technische Daten | Produktleistung für Rechenzentren

Die Grafikkarte für generative KI und HPC

Die NVIDIA H200-Tensor-Core-Grafikkarte bietet generative KI- und HPC(High-Performance Computing)-Workloads mit bahnbrechender Leistung und Speicherkapazität. Als erste Grafikkarte mit HBM3e treibt der größere und schnellere Speicher der H200 die Beschleunigung generativer KI und großer Sprachmodelle (LLMs) an und beschleunigt gleichzeitig wissenschaftliche Berechnungen für HPC-Workloads.

NVIDIA unterstützt Hopper, die weltweit führende KI-Computing-Plattform

Die NVIDIA HGX H200 verfügt über die NVIDIA H200 Tensor Core-Grafikkarte mit erweitertem Speicher, um riesige Datenmengen für generative KI- und HPC-Workloads zu verarbeiten.

Pressemitteilung lesen

Highlights

Experience Next-Level Performance

LLama2 70B-Inferenz

1,9X schneller

GPT3-175B-Inferenz

1,6X schneller

High-Performance Computing

110X schneller

Vorteile

Höhere Leistung mit größerem und schnellerem Speicher

Die NVIDIA H200 basiert auf der NVIDIA Hopper™- Architektur und ist die erste Grafikkarte mit 141 Gigabyte (GB) HBM3e-Speicher bei einer Leistung von 4,8 Terabyte pro Sekunde (TB/s) – das entspricht fast der doppelten Kapazität der NVIDIA H100 Tensor Core-Grafikkarte mit 1,4-facher Speicherbandbreite. Der größere und schnellere Speicher der H200 beschleunigt generative KI und LLMs und bringt gleichzeitig das wissenschaftliche Computing für HPC-Workloads mit besserer Energieeffizienz und niedrigeren Gesamtbetriebskosten voran.

Erkenntnisse mit hochleistungsfähiger LLM-Inferenz gewinnen

In der sich ständig weiterentwickelnden KI-Landschaft verlassen sich Unternehmen auf LLMs, um eine Vielzahl von Inferenzanforderungen zu erfüllen. Ein KI-Inferenzbeschleuniger muss den höchsten Durchsatz bei geringstmöglichen Gesamtbetriebskosten bieten, wenn er für eine riesige Nutzerbasis im großen Umfang bereitgestellt wird.

Die H200 verdoppelt die Inferenzgeschwindigkeit bei der Verarbeitung von LLMs wie Llama2 im Vergleich zu H100-Grafikprozessoren.

Entdecken Sie die KI-Inferenzplattform von NVIDIA

High-Performance Computing mit Superturbo

Die Speicherbandbreite ist für HPC-Anwendungen von entscheidender Bedeutung, da sie eine schnellere Datenübertragung ermöglicht und Engpässe bei der komplexen Verarbeitung reduziert. Für speicherintensive HPC-Anwendungen wie Simulationen, Forschung und künstliche Intelligenz stellt die höhere Speicherbandbreite von H200 sicher, dass Daten effizient abgerufen und bearbeitet werden können, was bis zu einer 110-mal schnelleren Ergebnisbereitstellung im Vergleich zu CPUs führt.

Erfahren Sie mehr über High-Performance Computing

Vorläufige Spezifikationen. Änderungen vorbehalten.
Lama2 70B: ISL 2K, OSL 128 | Durchsatz | H100 SXM 1x Grafikkarte BS 8 | H200 SXM 1x Grafikkarte BS 32

Reduzierung des Energieverbrauchs und der Gesamtbetriebskosten

Mit der Einführung der H200 erreichen Energieeffizienz und Gesamtbetriebskosten ein neues Niveau. Diese bahnbrechende Technologie bietet unvergleichliche Leistung innerhalb desselben Leistungsprofils wie die H100. KI-Werke und Supercomputing-Systeme, die nicht nur schneller, sondern auch umweltfreundlicher sind, bieten einen wirtschaftlichen Vorteil, der die KI- und Wissenschaftswelt voranbringt.

Erfahren Sie mehr über nachhaltiges Computing

KI-Beschleunigung für Mainstream-Enterprise-Server

Die NVIDIA H200 NVL ist die ideale Wahl für Kunden mit eingeschränkten Platzverhältnissen im Rechenzentrum, da sie größenunabhängige Beschleunigung für jede KI- und HPC-Workload bietet. Dank der 1,5-fachen Speichergröße und der 1,2-fachen Bandbreite gegenüber der Vorgängergeneration können Kunden LLMs innerhalb weniger Stunden optimieren und eine 1,8-mal schnellere LLM-Inferenz erzielen.

Unternehmensfähig: KI-Software optimiert Entwicklung und Bereitstellung

NVIDIA AI Enterprise vereinfacht dank NVIDIA H200 den Aufbau einer KI-fähigen Plattform und beschleunigt die Entwicklung und Bereitstellung von produktionstauglicher generativer KI, Computer Vision, Sprach-KI und vielem mehr. Zusammen mit den NIM-Inferenz-Microservices bieten die Bereitstellungen Sicherheit, Verwaltbarkeit, Stabilität und Support auf Unternehmensniveau. So werden schnellere, aussagekräftige Erkenntnisse und ein messbarer Geschäftswert ermöglicht.

Aktivieren Sie Ihre NVIDIA AI Enterprise-Lizenz

Technische Daten