憑藉新一代 AI、圖形和媒體加速功能，L40S 的推論性能比上一代 NVIDIA A40 高出 5 倍。 憑藉突破性的效能和 48 GB 的記憶體容量，L40S 是加速多模式產生 AI 工作負載的理想平台。
最強大的通用 GPU
透過 NVIDIA L40S GPU 體驗突破性的多工作負載效能。L40S GPU 結合強大的人工智慧運算與一流的繪圖技術和媒體加速，專為支援新一代資料中心工作負載而打造，從生成式人工智慧和大型語言模型 (LLM) 推論與訓練，到 3D 繪圖、渲染和影片。
重點
通用效能
Tensor 效能
1,466 兆次浮點運算¹
RT 核心效能
212 兆次浮點運算
單精度效能
91.6 兆次浮點運算
1 最高速率是以 GPU 加速時脈為準。
功能
採用 NVIDIA Ada Lovelace 架構
工作負載
多工作負載加速
生成式人工智慧
開發新的服務、見解和原創內容。
大型語言模型訓練與推論
加速人工智慧訓練和推論工作負載。
渲染和 3D 繪圖運算
使用 NVIDIA RTX™ 繪圖技術支援高擬真度的創作工作流程。
NVIDIA Omniverse
建立並使用元宇宙應用程式。
NVIDIA OVX L40S
用於高效能人工智慧和圖形的可擴展資料中心基礎架構。
表現
突破性的效能
圖像生成人工智慧
Stable Diffusion (images per minute)
效能量測；NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16
大型語言模型 (LLM) 推論
1st Token Latency (ms)
效能量測；NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.
規格
NVIDIA L40S GPU
| FP32 | 91.6 兆次浮點運算 |
| TF32 Tensor 核心 | 366 兆次浮點運算* |
| FP16 | 733 兆次浮點運算* |
| FP8 | 1,466 兆次浮點運算* |
| RT 核心效能 | 212 兆次浮點運算 |
| 最大功耗 | 350W |
|
* 具有稀疏性 |
|