Núcleos Tensor da NVIDIA

Aceleração Sem Precedentes para IA Generativa

Os Núcleos Tensor permitem computação de precisão mista, adaptando cálculos dinamicamente para acelerar o rendimento, preservando a precisão e fornecendo segurança aprimorada. A última geração de Núcleos Tensor está mais rápida do que nunca em uma ampla gama de tarefas de IA e computação de alto desempenho (HPC). Desde acelerações de 4 vezes no treinamento de modelos de IA generativa de trilhões de parâmetros até aumento de 45 vezes no desempenho de inferência, os Núcleos Tensor da NVIDIA aceleram todas as cargas de trabalho para modernas AI factories.

Introdução
Blackwell
Hopper
Especificações

Introdução

Introdução
Blackwell
Hopper
Especificações

Treinamento Revolucionário em IA

O treinamento de modelos de IA generativa de vários trilhões de parâmetros com precisão de ponto flutuante de 16 bits (FP16) pode levar meses. Os Núcleos Tensor da NVIDIA fornecem um desempenho de ordem de magnitude superior com precisões reduzidas, como FP8 no Transformer Engine, Tensor Float 32 (TF32) e FP16. Com suporte direto em frameworks nativos por meio de bibliotecas CUDA-X™ , a implementação é automática, o que reduz significativamente o tempo de treinamento até a convergência, mantendo a precisão.

Mecanismo Inovador de Inferência de IA

Alcançar baixa latência com alto rendimento e, ao mesmo tempo, maximizar a utilização é o requisito de desempenho mais importante para implantar inferência de maneira confiável. O mecanismo de inferência da arquitetura NVIDIA Blackwell oferece desempenho excepcional e tem a versatilidade para acelerar diversos modelos de IA generativa de vários trilhões de parâmetros.

Os Núcleos Tensor permitiram à NVIDIA vencer benchmarks MLPerf em todo o setor para inferência.

HPC Avançado

HPC é um pilar fundamental da ciência moderna. Para desbloquear as descobertas da próxima geração, os cientistas utilizam simulações para compreender melhor moléculas complexas para a descoberta de medicamentos, a física para potenciais fontes de energia e dados atmosféricos para melhor prever e preparar-se para padrões climáticos extremos. Os Núcleos Tensor da NVIDIA oferecem uma gama completa de precisões, incluindo FP64, para acelerar a computação científica com a mais alta precisão necessária.

O SDK HPC fornece compiladores, bibliotecas e ferramentas essenciais para o desenvolvimento de aplicações HPC para a plataforma NVIDIA.

Núcleos Tensor NVIDIA Blackwell

Quinta Geração

A arquitetura Blackwell oferece uma aceleração de 45 vezes em comparação com a geração anterior NVIDIA Hopper™ para modelos massivos como o GPT-MoE-1.8T. Esse aumento de desempenho é possível com a quinta geração de Núcleos Tensor, que oferece avanços inovadores para IA generativa, análise de dados e HPC. Os Núcleos Tensor de quinta geração introduzem novas precisões de microescalonamento (MX) FP4 junto com suporte para todas as precisões da comunidade, como MXFP8, MXFP6 e MXINT8.

Saiba Mais Sobre a Arquitetura NVIDIA Blackwell

Novas Precisões
Motor de Inferência

Novos Formatos de Precisão

À medida que os modelos de IA generativa explodem em tamanho e complexidade, é fundamental melhorar o desempenho do treinamento e da inferência. Para atender a essas necessidades de computação, os Núcleos Tensor Blackwell suportam todos os formatos comuns de quantização da comunidade, incluindo MXFP8, MXFP6, MXFP4 e MXINT8.

Motor de Inferência

O mecanismo de inferência Blackwell usa tecnologia Blackwell Tensor Core personalizada para acelerar a inferência para IA generativa e grandes modelos de linguagem (LLMs) com novos formatos de precisão, incluindo formatos MX definidos pela comunidade. As novas precisões do mecanismo de inferência sobrecarregam a aceleração para os LLMs atuais com dimensões pequenas de modelo e mais rendimento do que as precisões FP8 e FP16.

O Motor de Inferência trabalha para democratizar os LLMs atuais com desempenho em tempo real. As empresas podem otimizar os processos de negócios implantando modelos de IA generativa de última geração com economia acessível.

Núcleos Tensor da Arquitetura NVIDIA Hopper

Quarta Geração

Desde a introdução da tecnologia de Núcleo Tensor, as GPUs NVIDIA aumentaram seu desempenho máximo em 60 vezes, alimentando a democratização da computação para IA e HPC. A arquitetura NVIDIA Hopper avança com Núcleos Tensor de quarta geração com o Transformer Engine usando FP8 para oferecer desempenho 6 vezes maior em relação ao FP16 para treinamento de modelo de trilhões de parâmetros. Combinados com 3 vezes mais desempenho usando as precisões TF32, FP64, FP16 e INT8, os Núcleos Tensor Hopper oferecem aceleração para todas as cargas de trabalho.

Saiba Mais Sobre a Arquitetura NVIDIA Hopper

A Mais Poderosa Plataforma Completa de Data Center de IA e HPC

Núcleos Tensor são componentes essenciais da solução completa de data center da NVIDIA que incorpora hardware, rede, software, bibliotecas e modelos e aplicações de IA otimizados do catálogo NVIDIA NGC™. A plataforma de ponta a ponta mais poderosa de IA e HPC permite que os pesquisadores forneçam resultados reais e implantem soluções em produção em escala.

	Blackwell	Hopper
Precisões do Núcleo Tensor suportadas	FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4	FP64, TF32, BF16, FP16, FP8, INT8
Precisões do Núcleo CUDA® suportadas	FP64, FP32, FP16, BF16	FP64, FP32, FP16, BF16, INT8

*Especificações preliminares, podem estar sujeitas a alterações

Interessado no NVIDIA Blackwell?

Saiba Mais