Criado para a era da lógica de IA.
Inscreva-se para receber uma notificação quando a NVIDIA GB300 NVL72 estiver disponível.
Visão Geral
A NVIDIA GB300 NVL72 possui um design com resfriamento totalmente líquido e em escala de rack que unifica 72 GPUs NVIDIA Blackwell Ultra e 36 CPUs NVIDIA Grace™ baseadas em Arm® em uma única plataforma otimizada para a inferência em escalabilidade no tempo de teste. As fábricas de IA com tecnologia GB300 NVL72 usando NVIDIA Quantum-X800 InfiniBand ou Ethernet Spectrum™-X emparelhado com o ConnectX®-8 SuperNICS fornecem uma saída 50 vezes maior para a inferência de modelos de lógica em comparação com a plataforma NVIDIA Hopper™.
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 com desagregação FP4 Dynamo. H100 com agrupamento em tempo real FP8. Desempenho projetado sujeito a alterações.
Experimente o desempenho de raciocínio de IA de última geração com a plataforma NVIDIA GB300 NVL72. Em comparação com a Hopper, a GB300 NVL72 oferece um aumento impressionante de 10 vezes na responsividade do usuário (TPS por usuário) e uma melhoria de 5 vezes no rendimento (TPS por megawatt (MW)). Juntos, esses avanços se traduzem em um salto notável de 50 vezes na produção geral da fábrica de IA.
Recursos
A escalabilidade no tempo de teste e a lógica de IA aumentam a computação necessária para alcançar a qualidade do serviço e o máximo rendimento. Os núcleos Tensor da NVIDIA Blackwell Ultra são turbinados com 2 vezes a aceleração na camada de atenção e 1,5 vez mais operações de ponto flutuante de computação de IA por segundo (FLOPS) em comparação com as GPUs NVIDIA Blackwell.
A maior capacidade de memória permite um tamanho de lote maior e o desempenho de rendimento máximo. As GPUs NVIDIA Blackwell Ultra oferecem memória HBM3e 1,5 vez maior em combinação com computação de IA adicional, aumentando o rendimento de lógica de IA para os maiores comprimentos de contexto.
A arquitetura NVIDIA Blackwell oferece avanços revolucionários em computação acelerada, impulsionando uma nova era de desempenho, eficiência e escala inigualáveis.
O módulo de entrada/saída (IO) do NVIDIA ConnectX-8 SuperNIC hospeda dois dispositivos ConnectX-8, fornecendo 800 gigabits por segundo (Gb/s) de conectividade de rede para cada GPU na NVIDIA GB300 NVL72. Isso oferece os melhores recursos de acesso remoto direto de memória (RDMA) com plataformas de rede Ethernet NVIDIA Quantum-X800 InfiniBand ou Spectrum-X, permitindo a eficiência máxima de cargas de trabalho de IA.
A CPU NVIDIA Grace é um processador revolucionário projetado para cargas de trabalho de data center modernas. Ela fornece desempenho excepcional e largura de banda de memória com 2 vezes a eficiência energética dos principais processadores de servidor da atualidade.
Desbloquear todo o potencial da computação acelerada requer comunicação perfeita entre todas as GPUs. A quinta geração do NVIDIA NVLink™ é uma interconexão em escala crescente que liberta o desempenho acelerado para modelos de lógica de IA.
Como base para a solução em escala de rack NVIDIA GB300 NVL72, o Superchip NVIDIA GB300 Grace Blackwell Ultra possui quatro GPUs NVIDIA Blackwell Ultra, duas CPUs Grace e quatro SuperNICs ConnectX-8. Por meio da tecnologia Switch NVIDIA NVLink e das DPUs NVIDIA BlueField®-3, 18 superchips combinam-se em uma GPU gigante, criada especificamente para a era da lógica de IA.
Especificações
Configuração | 72 GPUs NVIDIA Blackwell Ultra, 36 CPUs NVIDIA Grace |
Largura de Banda do NVLink | 130TB/s |
Memória Rápida | Até 40TB |
Memória da GPU | Largura de Banda | Até 21TB | Até 576TB/s |
Memória da CPU | Largura de Banda | Até 18TB SOCAMM com LPDDR5X | Até 14,3TB/s |
Contagem de Núcleos da CPU | 2.592 núcleos Arm Neoverse V2 |
Núcleo Tensor FP4 | 1.400 | 1.100² PFLOPS |
Núcleo Tensor FP8/FP6 | 720 PFLOPS |
Núcleo Tensor INT8 | 23 PFLOPS |
Núcleo Tensor FP16/BF16 | 360 PFLOPS |
Núcleo Tensor TF32 | 180 PFLOPS |
FP32 | 6 PFLOPS |
Núcleo Tensor FP64 / FP64 | 100 TFLOPS |
1. Especificações preliminares. Pode estar sujeito a alterações. Todas as especificações do Tensor Core são esparsas, a menos que indicado em contrário. |
Recursos
Inscreva-se para receber uma notificação quando o NVIDIA GB300 NVL72 estiver disponível.
Inscreva-se para receber as últimas notícias, atualizações e novidades da NVIDIA.