次世代 AI、グラフィックス、メディア アクセラレーション機能を備えた L40S は、前世代の NVIDIA A40 よりも最大 5 倍高い推論性能を提供します。画期的なパフォーマンスと 48 ギガバイト (GB) のメモリ容量を備えた L40S は、マルチモーダル生成 AI ワークロードを加速するのに理想的なプラットフォームです。
最もパワフルな汎用 GPU
NVIDIA L40S GPU で画期的なマルチワークロード パフォーマンスをご体験ください。パワフルな AI コンピューティングとこのクラスで最高のグラフィックスとメディア高速化を組み合わせた L40S GPU は、生成 AI や LLM (大規模言語モデル) の推論とトレーニングから 3D グラフィックス、レンダリング、ビデオまで、次世代のデータ センター ワークロードにパワーを与えます。
ハイライト
ユニバーサルな性能
Tensor パフォーマンス
1,466 TFLOPS¹
RT コア パフォーマンス
212 TFLOPS
単精度演算性能
91.6 TFLOPS
1 ピーク レートは GPU ブーストクロックに基づきます。
特長
NVIDIA Ada Lovelace アーキテクチャ採用
ワークロード
マルチワークロードの高速化
生成 AI
新しいサービス、インサイト、オリジナル コンテンツを開発します。
LLM のトレーニングと推論
AI のトレーニングと推論のワークロードを高速化します。
レンダリングと 3D グラフィックス
NVIDIA RTX™ グラフィックスで忠実度の高いクリエイティブ ワークフローにパワーを与えます。
NVIDIA Omniverse
メタバース アプリケーションの作成と運用をします。
NVIDIA OVX L40S
高性能な AI とグラフィックスのためのスケーラブルなデータ センター インフラストラクチャ。
パフォーマンス
画期的なパフォーマンス
画像生成 AI
Stable Diffusion (images per minute)
性能測定; NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16
大規模言語モデル (LLM) 推論
1st Token Latency (ms)
性能測定; NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.
仕様
NVIDIA L40S GPU
| FP32 | 91.6 teraFLOPS |
| TF32 Tensor コア | 366 teraFLOPS* |
| FP16 | 733 teraFLOPS* |
| FP8 | 1,466 teraFLOPS* |
| RT コア パフォーマンス | 212 teraFLOPS |
| 最大消費電力 | 350W |
|
* スパース性対応 |
|