NVIDIA L40S

Unübertroffene KI- und Grafikleistung für Rechenzentren.

Bezugsquellen

NVIDIA-Partner finden.

Partner suchen

Datenblatt | Produktübersicht | Technische Daten |
Deep Learning Performance Pages

Einführung

Partner suchen

Der leistungsstärkste Universal-Grafikprozessor

Erleben Sie bahnbrechende Multi-Workload-Leistung mit dem NVIDIA L40S-Grafikprozessor. Der L40S-Grafikprozessor vereint leistungsstarke KI-Rechenleistung und erstklassige Grafik- und Medienbeschleunigung und ist auf die nächste Generation von Rechenzentrums-Workloads ausgelegt – von generativer KI und Inferenz und Training für Large Language Models (LLM) bis hin zu 3D-Grafik, Rendering und Videos.

NVIDIA, globale Hersteller von Rechenzentrumssystemen für generative AI und industrielle Digitalisierung

NVIDIA OVX™ Server mit neuen NVIDIA-Grafikprozessoren zur Beschleunigung von AI-Training und Inferenzen sowie grafikintensiven Workloads sind bald von Dell, Hewlett Packard Enterprise, Lenovo, Supermicro und weiteren erhältlich.

Pressemitteilung lesen

Highlights

Universelle Leistung

Tensor-Leistung

1.466 TFLOPS¹

RT Core-Rechenleistung

212 TFLOPS

Single-Precision-Leistung

91,6 TFLOPS

¹ Spitzenwerte basieren auf GPU-Boost-Taktung.

Merkmale

Basierend auf der NVIDIA Ada Lovelace-Architektur

Tensor-Recheneinheiten der vierten Generation

Hardwareunterstützung für Structural Sparsity und das optimierte TF32-Format bieten Leistungssteigerungen ab Werk für schnelleres KI- und Datenwissenschaftsmodelltraining. Beschleunigen Sie KI-optimierte Grafikfunktionen mit DLSS, um die Auflösung mit besserer Leistung in ausgewählten Anwendungen zu skalieren.

RT-Recheneinheiten der dritten Generation

Verbesserter Durchsatz und gleichzeitige Raytracing- und Shading-Funktionen verbessern die Raytracing-Leistung und beschleunigen die Render-Prozesse für Workflows in Produktdesign und Architektur, Ingenieurwesen und Bau. Erleben Sie lebensechte Designs in Aktion mit hardwarebeschleunigter Bewegungsunschärfe und beeindruckenden Echtzeitanimationen.

CUDA-Recheneinheiten

Der beschleunigte Gleitkommadurchsatz mit einfacher Genauigkeit (FP32) und die verbesserte Energieeffizienz ermöglichen signifikante Leistungsverbesserungen für Workflows wie die Entwicklung von 3D-Modellen und die Simulation von computergestütztem Engineering (CAE). Unterstützt verbesserte 16-Bit-Mathematik-Funktionen (BF16) für Mixed-Precision-Workloads.

Transformer-Engine

Die Transformer-Engine beschleunigt die KI-Leistung erheblich und verbessert die Speicherauslastung sowohl für das Training als auch für die Inferenz. Die Transformer-Engine nutzt die Leistungsfähigkeit der Tensor-Recheneinheiten der vierten Generation von Ada Lovelace, scannt die Schichten der neuronalen Netzwerke der Transformer-Architektur auf intelligente Weise und wandelt automatisch zwischen FP8- und FP16-Precisions um, um eine schnellere KI-Leistung zu bieten und Training und Inferenz zu beschleunigen.

Effizienz und -Sicherheit

Die L40S-GPU ist für den durchgehenden Betrieb in Unternehmens-Rechenzentren optimiert und wurde von NVIDIA entwickelt, gebaut, getestet und unterstützt, um maximale Leistung, Langlebigkeit und Verfügbarkeit zu gewährleisten. Die NVIDIA L40S-GPU erfüllt die neuesten Rechenzentrumsstandards, ist Network Equipment-Building System (NEBS) Level 3-fähig und bietet Secure Boot mit Root of Trust-Technologie, die eine zusätzliche Sicherheitsebene für Rechenzentren bereitstellt.

DLSS 3

Die L40S-GPU ermöglicht ultraschnelles Rendering und flüssigere Frameraten mit NVIDIA DLSS 3. Diese bahnbrechende Technologie zur Frame-Generierung nutzt Deep Learning und die neuesten Hardware-Innovationen der Ada Lovelace-Architektur und der L40S-GPU, einschließlich Tensor-Recheneinheiten der vierten Generation und einen Optical Flow Accelerator, um die Rendering-Leistung zu steigern, höhere Frames pro Sekunde (FPS) zu liefern und die Latenz deutlich zu verbessern.

Weitere Informationen zur NVIDIA Ada Lovelace GPU- Architektur

Workloads

Multi-Workload-Beschleunigung

Generative KI

Entwickeln Sie neue Dienste, Einblicke und originelle Inhalte.

Mit AI-, Grafik- und Medienbeschleunigung der nächsten Generation bietet der L40S eine bis zu 5-mal höhere Inferenzleistung als die Vorgängergeneration NVIDIA A40. ‌Mit bahnbrechender Leistung und 48 Gigabyte (GB) Speicherkapazität ist der L40S die ideale Plattform für die Beschleunigung multimodaler generativer AI-Workloads.

Weitere Informationen zu generativer KI

LLM-Training und Inferenz

Beschleunigen Sie KI-Training und Inferenz-Workloads.

Tensor-Recheneinheiten der vierten Generation mit Unterstützung für FP8 bieten eine außergewöhnliche KI-Rechenleistung, um das Training und die Inferenz von hochmodernen LLM- und generativen KI-Modellen zu beschleunigen.

Entdecken Sie die Vorteile der KI-Inferenz von NVIDIA

Rendering und 3D-Grafik

Steuern Sie kreative Workflows mit hoher Genauigkeit mit NVIDIA RTX™-Grafiken.

Mit RT-Recheneinheiten der dritten Generation, die bis zu zweimal mehr Echtzeit-Raytracing-Leistung als die Vorgängergeneration bieten, um die Erstellung beeindruckender visueller Inhalte und kreativer Workflows mit hoher Genauigkeit zu ermöglichen, vom interaktiven Rendering bis hin zur virtuellen Echtzeitproduktion.

Mehr Infos über die NVIDIA RTX-Technologie

NVIDIA Omniverse

Erstellen und betreiben Sie Metaverse-Anwendungen.

NVIDIA Omniverse™ ermöglicht die Vernetzung, Entwicklung und den Betrieb der nächsten Generation von Anwendungen für die industrielle Digitalisierung. Mit leistungsstarker RTX-Grafik und KI-Funktionen bietet die L40S außergewöhnliche Leistung für Universal Scene Description (OpenUSD)-basierte 3D- und Simulations-Workflows, die auf Omniverse basieren.

Weitere Informationen zu NVIDIA Omniverse

NVIDIA OVX L40S

Skalierbare Rechenzentrumsinfrastruktur für leistungsstarke AI und Grafik.

In Kombination mit der NVIDIA Spectrum-X-Ethernet-Technologie und der NVIDIA AI Enterprise-Software bietet der NVIDIA OVX L40S Leistung, die ihresgleichen sucht, um die Transformation von Unternehmen mit generativer AI zu beschleunigen.

Mehr erfahren

Leistung

Überragende Leistung

Bild generative AI

Stable Diffusion (images per minute)

Gemessene Leistung; NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16

Inferenz für Large Language Models (LLMs)

1st Token Latency (ms)

Gemessene Leistung; NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.

Technische Daten

NVIDIA L40S GPU

FP32	91,6 TeraFLOPS
TF32-Tensor-Core	366 TeraFLOPS*
FP16	733 teraFLOPS*
FP8	1.466 TeraFLOPS*
RT Core-Rechenleistung	212 teraFLOPS
Max. Energieverbrauch	350 W
* Mit geringer Dichte

Siehe vollständige technische Daten Datenblatt anzeigen

Aktuelle GPU-Leistung bei HPC-Anwendungen ansehen

Erste Schritte

Konnten wir überzeugen?

Einen NVIDIA-Partner kontaktieren.

Partner suchen

Hilfe bei der Auswahl des richtigen Produkts oder Partners gefällig?

Mit einem NVIDIA-Produktspezialisten über die beruflichen Anforderungen sprechen.

Kontakt

Auf dem Laufenden mit den neuesten News bleiben

Für Neuigkeiten zu NVIDIA abonnieren.

Auf dem Laufenden bleiben

Grafikprozessorarchitektur	NVIDIA Ada Lovelace-Architektur
GPU-Speicher	48 GB GDDR6 mit ECC
Speicherbandbreite	864 GB/s
Verbindungsschnittstelle	PCIe Gen4 x16: 64 GB/s bidirektional
CUDA®-Recheneinheiten auf Basis von NVIDIA Ada Lovelace-Architektur	18.176
NVIDIA RT-Recheneinheiten der dritten Generation	142
NVIDIA Tensor-Recheneinheiten der vierten Generation	568
RT Core-Rechenleistung TFLOPS	212
FP32-TFLOPS	91,6
TF32-Tensor-Core TFLOPS	183 I 366*
BFLOAT16-Tensor-Core TFLOPS	362,05 I 733*
FP16-Tensor-Core	362,05 I 733*
FP8-Tensor-Core	733 I 1.466*
Peak INT8 Tensor TOPS Peak INT4 Tensor TOPS	733 I 1.466* 733 I 1.466*
Formfaktor	11,2 cm (H) x 26,7 cm (L); Doppelsteckplatz
Bildschirmanschlüsse	4x DisplayPort 1.4a
Max. Energieverbrauch	350 W
Energieversorgungsanschluss	16-polig
Kühlung	Passiv
Unterstützung für virtuelle GPU(vGPU)-Software	Ja
vGPU-Profilunterstützung	Siehe Lizenzierungsleitfaden für virtuelle GPUs
NVENC I NVDEC	3x \| 3x (mit AV1-Kodierung und -Dekodierung)
Sicheres Booten mit Root-of-Trust	Ja
Bereit für NEBS	Level 3
Multi-Instance-Grafikprozessor-Unterstützung (MIG)	Nein
NVIDIA® NVLink®-Unterstützung	Nein
* Mit geringer Dichte

NVIDIA L40S

Bezugsquellen

Der leistungsstärkste Universal-Grafikprozessor

NVIDIA, globale Hersteller von Rechenzentrumssystemen für generative AI und industrielle Digitalisierung

Highlights

Universelle Leistung

Tensor-Leistung

RT Core-Rechenleistung

Single-Precision-Leistung

Merkmale

Basierend auf der NVIDIA Ada Lovelace-Architektur

Tensor-Recheneinheiten der vierten Generation

RT-Recheneinheiten der dritten Generation

CUDA-Recheneinheiten

Transformer-Engine

Effizienz und -Sicherheit

DLSS 3

Workloads

Multi-Workload-Beschleunigung

Generative KI

LLM-Training und Inferenz

Rendering und 3D-Grafik

NVIDIA Omniverse

NVIDIA OVX L40S

Leistung

Überragende Leistung

Bild generative AI

Inferenz für Large Language Models (LLMs)

Technische Daten

NVIDIA L40S GPU

Erste Schritte

Konnten wir überzeugen?

Hilfe bei der Auswahl des richtigen Produkts oder Partners gefällig?

Auf dem Laufenden mit den neuesten News bleiben

Melden Sie sich an, um über die Verfügbarkeit benachrichtigt zu werden

Technische Daten zu NVIDIA L40S-GPU