Tensor-Recheneinheiten ermöglichen Mixed-Precision-Computing. Dazu werden Berechnungen dynamisch angepasst, um den Durchsatz bei gleichbleibender Genauigkeit und verbesserter Sicherheit zu beschleunigen. Die neueste Generation von Tensor-Recheneinheiten ist bei einer breiten Palette von KI- und High-Performance-Computing-Aufgaben (HPC) schneller denn je. NVIDIA Tensor-Recheneinheiten beschleunigen alle Workloads für moderne KI-Fabriken von der 4-fachen Beschleunigung beim Training von generativen KI-Modellen mit Billionen Parametern bis hin zur 45-fachen Steigerung der Inferenzleistung.
Die Blackwell-Architektur bietet eine 30-fache Beschleunigung im Vergleich zur Vorgängergeneration NVIDIA Hopper™ für riesige Modelle wie GPT-MoE-1.8T. Diese Leistungssteigerung wird durch die Tensor Cores der fünften Generation ermöglicht. Blackwell Tensor Cores bieten neue Präzisionen, einschließlich von der Community definierter Microscaling-Formate, für eine höhere Genauigkeit und einen einfacheren Austausch für höhere Präzision.
Da generative KI-Modelle immer größer und komplexer werden, ist es entscheidend, die Trainings- und Inferenzleistung zu verbessern. Um diese Computing-Anforderungen zu erfüllen, unterstützen die Blackwell-Tensor Cores neue Quantifizierungsformate, einschließlich von der Community definierter Microscaling-Formate.
Seit der Einführung der Tensor Core-Technologie konnten NVIDIA Hopper-GPUs ihre Spitzenleistung um das 60-Fache steigern und so die Demokratisierung der Berechnung für KI und HPC voranbringen. Die NVIDIA Hopper-Architektur erweitert die Tensor Cores der vierten Generation mit der Transformer-Engine, die FP8 nutzt, um eine 6-mal höhere Leistung als FP16 für das Training von Modellen mit Billionen Parametern zu liefern. In Kombination mit 3-mal mehr Leistung durch TF32-, FP64-, FP16#- und INT8-Precisions bieten Hopper Tensor-Recheneinheiten eine Beschleunigung für alle Workloads.
Tensor-Recheneinheiten sind wesentliche Bausteine der kompletten NVIDIA Rechenzentrumslösung, die Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen aus dem NVIDIA NGC™ Katalog umfasst. Die leistungsstärkste End-to-End-KI- und HPC-Plattform ermöglicht es Forschern, realistische Ergebnisse zu liefern und Lösungen nach Maß für die Produktion bereitzustellen.
Blackwell | Hopper | |
---|---|---|
Unterstützte Precisions für Tensor-Recheneinheiten | FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4 | FP64, TF32, BF16, FP16, FP8, INT8 |
Unterstützte Precisions für CUDA®-Recheneinheiten | FP64, FP32, FP16, BF16 | FP64, FP32, FP16, BF16, INT8 |
*Vorläufige Spezifikationen, Änderungen möglich
Weitere Informationen über NVIDIA Blackwell