NVIDIA GB200 NVL72

O GB200 NVL72 introduz recursos de ponta e um Transformer Engine de segunda geração, que permite a IA FP4. Quando acoplado ao NVIDIA NVLink de quinta geração, ele oferece desempenho de inferência de LLM em tempo real 30 vezes mais rápido para modelos de linguagem de trilhões de parâmetros. Esse avanço é possível com uma nova geração de Tensor Cores, que introduzem novos formatos de microescala, otimizados para inferência de IA de alto rendimento e baixa latência. Além disso, o GB200 NVL72 usa NVLink e resfriamento líquido para criar um único rack enorme de 72 GPUs que pode superar os gargalos de comunicação.

O GB200 NVL72 apresenta um Transformer Engine mais rápido de segunda geração, oferecendo precisão FP8 e permitindo um treinamento notavelmente 4 vezes mais rápido para grandes modelos de linguagem em escala. Esse avanço é complementado pelo NVLink de quinta geração, que fornece 1,8 TB/s de interconexão de GPU para GPU, redes InfiniBand e o software NVIDIA Magnum IO™.

Os racks GB200 NVL72 com resfriamento líquido reduzem a pegada de carbono e o consumo de energia de um data center. O resfriamento por líquido aumenta a densidade da computação, reduz a quantidade de espaço usado e facilita a comunicação de GPU de alta largura de banda e baixa latência com grandes arquiteturas de domínio NVLink. Em comparação com a infraestrutura NVIDIA H100, o GB200 oferece 25 vezes mais desempenho com a mesma potência, reduzindo o consumo de água.

Os bancos de dados desempenham papéis críticos no manuseio, processamento e análise de grandes volumes de dados para empresas. O GB200 aproveita o desempenho da memória de alta largura de banda, o NVLink-C2C e os mecanismos de descompressão dedicados da arquitetura NVIDIA Blackwell para acelerar as principais consultas de banco de dados em 18 vezes em comparação com a CPU e oferecer um TCO 5 vezes melhor.