Con capacidades de aceleración de medios, gráficos e IA de última generación, la L40S ofrece un rendimiento de inferencia hasta 5 veces mayor que la NVIDIA A40 de la generación anterior. Con un rendimiento revolucionario y 48 gigabytes (GB) de capacidad de memoria, la L40S es la plataforma ideal para acelerar cargas de trabajo de IA generativa multimodal.
NVIDIA L40S
Rendimiento de gráficos e IA incomparable para el data center.
La GPU Universal Más Potente
Experimenta un rendimiento sin precedentes en múltiples cargas de trabajo con la GPU NVIDIA L40S. Al combinar una potente computación de IA con los mejores gráficos y aceleración de medios de su clase, la GPU L40S está diseñada para impulsar la próxima generación de cargas de trabajo de data centers, desde la IA generativa y la inferencia y el entrenamiento de grandes modelos de lenguaje (LLM) hasta gráficos 3D, renderizado y video.
Resúmenes
Rendimiento Universal
Rendimiento del Tensor
1,466 TFLOPS¹
Rendimiento del Núcleo RT
212 TFLOPS
Rendimiento de Precisión Simple
91.6 TFLOPS
1 Las tasas máximas se basan en el clock de refuerzo de la GPU.
Características
Con la Tecnología de la Arquitectura NVIDIA Ada Lovelace
Cargas de Trabajo
Aceleración de Cargas de Trabajo Múltiples
IA Generativa
Desarrollar Nuevos Servicios, Conocimientos y Contenido Original.
Entrenamiento e Inferencia de LLM
Acelere las Cargas de Trabajo de Entrenamiento e Inferencia de IA.
Renderizado y Gráficos 3D
Potencia los Workflows Creativos de Alta Fidelidad con los Gráficos NVIDIA RTX™.
NVIDIA Omniverse
Crear y Operar Aplicaciones de Metaverso
NVIDIA OVX L40S
Infraestructura de Data Center Escalable para Gráficos e IA de Alto Rendimiento.
Rendimiento
Rendimiento Innovador
IA Generativa de Imágenes
Stable Diffusion (images per minute)
Rendimiento medido; Nvidia L40S
Difusión estable v2.1, TRT 8.6.1, BS:1, FP16 | Difusión estable XL 1.0, TRT 8.6.1, BS:1, FP16
Inferencia de los Grandes Modelos de Lenguaje (LLM)
1st Token Latency (ms)
Rendimiento medido; Nvidia L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1; 8PM.
Especificaciones
GPU NVIDIA L40S
| FP32 | 91.6 teraFLOPS |
| Núcleo Tensor TF32 | 366 teraFLOPS* |
| FP16 | 733 teraFLOPS* |
| FP8 | 1,466 teraFLOPS* |
| Rendimiento del Núcleo RT | 212 teraFLOPS |
| Consumo Máximo de Energía | 350W |
|
*Con dispersión |
|