Arquitetura NVIDIA Blackwell

O Transformer Engine de segunda geração usa a tecnologia personalizada Blackwell Tensor Core combinada com as inovações NVIDIA® TensorRT™-LLM e Framework NeMo™ para acelerar a inferência e o treinamento para grandes modelos de linguagem (LLMs) e modelos de mistura de especialistas (MoE).

Para turbinar a inferência de modelos MoE, os Blackwell Tensor Cores adicionam novas precisões, incluindo novos formatos de microescala definidos pela comunidade, proporcionando alta precisão e facilidade de substituição para precisões maiores. O Transformer Engine do Blackwell utiliza técnicas de escalonamento de granulação fina chamadas escalonamento de microtensor, para otimizar o desempenho e a precisão, permitindo IA de ponto flutuante de 4 bits (FP4). Isso duplica o desempenho e o tamanho dos modelos de próxima geração que a memória pode suportar, mantendo, ao mesmo tempo, alta precisão.

Desbloquear todo o potencial da computação em exaescala e dos modelos de IA de trilhões de parâmetros depende da necessidade de comunicação rápida e contínua entre cada GPU em um cluster de servidores. A quinta geração do NVIDIA® NVLink® é uma interconexão escalável que proporciona desempenho acelerado para modelos de IA de trilhões e multitrilhões de parâmetros.

A quarta geração do NVIDIA NVSwitch™ permite 130TB/s de largura de banda de GPU em um domínio NVLink de 72 GPU (NVL72) e oferece 4 vezes mais eficiência de largura de banda com suporte ao NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8. Usando o NVSwitch , o sistema de switch NVIDIA NVLink oferece suporte a clusters além de um único servidor com a mesma interconexão impressionante de 1,8TB/s. Clusters de vários servidores com NVLink dimensionam as comunicações de GPU em equilíbrio com o aumento da computação, de modo que o NVL72 pode suportar 9 vezes o rendimento da GPU do que um único sistema de oito GPU.

A Blackwell adiciona resiliência inteligente com um mecanismo dedicado de confiabilidade, disponibilidade e capacidade de manutenção (RAS) para identificar falhas potenciais que podem ocorrer antecipadamente para minimizar o tempo de inatividade. Os recursos de gerenciamento preditivo baseados em IA da NVIDIA monitoram continuamente milhares de pontos de dados em hardware e software para verificar a integridade geral e prever e interceptar fontes de tempo de inatividade e ineficiência. Isso cria resiliência inteligente que economiza tempo, energia e custos de computação.

O mecanismo RAS da NVIDIA fornece informações de diagnóstico detalhadas que podem identificar áreas de preocupação e planejar manutenção. O mecanismo RAS reduz o tempo de resposta ao localizar rapidamente a origem dos problemas e minimiza o tempo de inatividade ao facilitar a correção eficaz.