차세대 AI, 그래픽 및 미디어 가속화 기능을 갖춘 L40S는 이전 세대 NVIDIA A40보다 최대 5배 더 높은 추론 성능을 제공합니다. 획기적인 성능과 48기가바이트(GB)의 메모리 용량을 갖춘 L40S는 멀티모달 생성형 AI 워크로드를 가속화하는 데 이상적인 플랫폼입니다.
가장 강력한 범용 GPU
NVIDIA L40S GPU로 획기적인 멀티 워크로드 성능을 경험하세요. 강력한 AI 컴퓨팅과 동급 최고의 그래픽스 및 미디어 가속화를 결합한 L40S GPU는 생성형 AI와 대형 언어 모델(LLM) 추론 및 훈련에서부터 3D 그래픽, 렌더링, 영상에 이르는 차세대 데이터센터 워크로드를 지원하도록 제작되었습니다.
하이라이트
범용 성능
Tensor 성능
1,466 TFLOPS¹
RT 코어 성능
212 TFLOPS
단정밀도 성능
91.6 TFLOPS
1 최고 속도는 GPU 부스트 클럭 기준입니다.
특징
NVIDIA Ada Lovelace 아키텍처 기반
워크로드
멀티 워크로드 가속화
생성형 AI
새로운 서비스, 인사이트, 독창적인 콘텐츠를 개발하세요.
LLM 훈련 및 추론
AI 훈련 및 추론 워크로드를 가속화하세요.
렌더링 및 3D 그래픽
NVIDIA RTX™ 그래픽으로 높은 충실도의 크리에이티브 워크플로우를 지원하세요.
NVIDIA Omniverse
메타버스 애플리케이션을 구축 및 운영하세요.
NVIDIA OVX L40S
고성능 AI 및 그래픽을 위한 확장 가능한 데이터센터 인프라.
성능
획기적인 성능
이미지 생성형 AI
Stable Diffusion (images per minute)
측정된 성능; NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16
대규모 언어 모델(LLM) 추론
1st Token Latency (ms)
측정된 성능; NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.
사양
NVIDIA L40S GPU
| FP32 | 91.6테라플롭스 |
| TF32 Tensor 코어 | 366테라플롭스* |
| FP16 | 733테라플롭스* |
| FP8 | 1,466테라플롭스* |
| RT 코어 성능 | 212테라플롭스 |
| 최대 소비 전력 | 350W |
|
* 희소성 포함 |
|