Com recursos de IA, gráficos e aceleração de mídia de última geração, o L40S oferece desempenho de inferência até 5 vezes maior do que a NVIDIA A40 da geração anterior. Com desempenho inovador e 48 gigabytes (GB) de capacidade de memória, a L40S é a plataforma ideal para acelerar cargas de trabalho de IA generativa multimodal.
NVIDIA L40S
Desempenho incomparável de IA e gráficos para o data center.
A GPU Universal Mais Poderosa
Experimente um desempenho inovador de várias cargas de trabalho com a GPU NVIDIA L40S. Combinando computação de IA poderosa com os melhores gráficos e aceleração de mídia da categoria, a GPU L40S foi criada para impulsionar a próxima geração de cargas de trabalho de data center, desde IA generativa e inferência e treinamento de grandes modelos de linguagem (LLM) até gráficos 3D, renderização e vídeo.
Destaques
Desempenho Universal
Desempenho do Tensor
1,466 TFLOPS¹
Desempenho do Núcleo RT
212 TFLOPS
Desempenho de Precisão Única
91.6 TFLOPS
1 As taxas de pico são baseadas no clock de aumento da GPU.
Características
Impulsionada pela Arquitetura NVIDIA Ada Lovelace
Cargas de Trabalho
Aceleração de Múltiplas Cargas de Trabalho
IA Generativa
Desenvolva Novos Serviços, Insights e Conteúdo Original.
Treinamento e Inferência de LLM
Acelere o Treinamento de IA e as Cargas de Trabalho de Inferência.
Renderização e Gráficos 3D
Potencialize Workflows Criativos de Alta Fidelidade com Gráficos NVIDIA RTX™.
NVIDIA Omniverse
Crie e Opere Aplicações do Metaverso.
NVIDIA OVX L40S
Infraestrutura Escalonável de Data Center para IA e Gráficos de Alto Desempenho.
Desempenho
Desempenho Inovador
IA Generativa de Imagens
Stable Diffusion (images per minute)
Desempenho medido; NVIDIA L40S
Difusão Estável v2.1, TRT 8.6.1, BS:1, FP16 | Difusão Estável XL 1.0, TRT 8.6.1, BS:1, FP16
Inferência de Grandes Modelos de Linguagem (LLM)
1st Token Latency (ms)
Desempenho medido; NVIDIA L40S
Lhama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1; 8º PQ.
Especificações
GPU NVIDIA L40S
| FP32 | 91.6 teraFLOPS |
| Núcleo Tensor TF32 | 366 teraFLOPS* |
| FP16 | 733 teraFLOPS* |
| FP8 | 1,466 teraFLOPS* |
| Desempenho do Núcleo RT | 212 teraFLOPS |
| Consumo Máximo de Energia | 350W |
|
*Com dispersão |
|