GPU NVIDIA H200 Tensor Core
Turbinando cargas de trabalho de IA e HPC.
A GPU Mais Poderosa do Mundo
A GPU NVIDIA H200 Tensor Core turbina as cargas de trabalho de IA generativa e de computação de alto desempenho (HPC) com capacidade de memória e recursos que mudam o jogo. Como a primeira GPU com o HBM3E, a maior e mais rápida memória da H200 impulsiona a aceleração de IA generativa e grandes modelos de linguagem (LLMS) enquanto avançam na computação científica para cargas de trabalho de HPC.
Destaques
Experimente o Desempenho do Próximo Nível
Inferência Llama2 70B
1.9X Mais Rápido
Inferência GPT-3 175B
1.6X Mais Rápido
Computação de Alto Desempenho
110X Mais Rápido
Vantagens
Maior Desempenho e Memória Maior e Mais Rápida
Baseada na arquitetura NVIDIA Hopper, a NVIDIA H200 é a primeira GPU a oferecer 141 gigabytes (GB) da memória HBM3E a 4,8 terabytes por segundo (TB/S), que quase o dobro da capacidade da GPU NVIDIA H100 Tensor Core com 1.4 vezes mais largura de banda de memória. A memória maior e mais rápida da H200 acelera a IA generativa e os LLMS, enquanto avançam na computação científica para cargas de trabalho de HPC com melhor eficiência energética e menor custo total de propriedade.
Desempenho preliminar medido, sujeito a alterações.
LLAMA2 13B: ISL 128, OSL 2K | Taxa de transferência | 1 GPU H100 BS 64 | 1 GPU H200 BS 128
GPT-3 175B: ISL 80, OSL 200 | 8 GPUs H100 BS 64 | 8 GPUs H200 BS 128
LLAMA2 70B: ISL 2K, OSL 128 | Taxa de transferência | 1 GPU H100 BS 8 | 1 GPU H200 BS 32..
Desbloqueie Insights com Inferência de LLM de Alto Desempenho
No cenário em constante evolução da IA, as empresas dependem dos LLMs para atender a uma gama diversificada de necessidades de inferência. Um acelerador de inferência de IA deve fornecer a maior taxa de transferência no TCO mais baixo quando implantado em escala para uma enorme base de usuários.
A H200 aumenta a velocidade de inferência em até 2 vezes em comparação com as GPUs H100 ao manusear LLMs como o LLAMA2.
Impulsione a Computação de Alto Desempenho
A largura de banda da memória é crucial para aplicações de HPC, pois permite transferência de dados mais rápida, reduzindo gargalos complexos de processamento. Para aplicações de HPC intensivas em memória, como simulações, pesquisa científica e IA, a largura de banda de memória mais alta da H200 garante que os dados possam ser acessados e manipulados com eficiência, levando até 110 vezes tempo mais rápido para obter resultados em comparação às CPUs.
Desempenho projetado, sujeito a alterações..
HPC MILC- Conjunto de Dados NERSC Apex Médio | 4 GPUs HGX H200 | Dual Sapphire Rapids 8480
Aplicações HPC-CP2K: Conjunto de Dados H2O-32-RI-DRPA-96 Pontos | GROMACS: Conjunto de Dados STMV | ICON: Conjunto de Dados R2B5 | MILC: Conjunto de Dados NERSC Apex Medium | Chroma: Conjunto de Dados HMC Medium | Espresso Quântico: Conjunto de Dados ausurf112 | 1x H100 | 1x H200.
Liberando a Aceleração de IA para Servidores Corporativos Convencionais com H200 NVL
A NVIDIA H200 NVL é ideal para designs de rack empresarial refrigerados a ar de menor potência que exigem configurações flexíveis, oferecendo aceleração para todas as cargas de trabalho de IA e HPC, independentemente do tamanho. Com até quatro GPUs conectadas pelo NVIDIA NVLink™ e um aumento de memória de 1,5 vez, a inferência de grande modelo de linguagem (LLM) pode ser acelerada em até 1,7 vez e as aplicações HPC alcançam um desempenho até 1,3 vez maior em relação ao NVL H100.
Pronto para empresas: o software de IA simplifica o desenvolvimento e a implantação
A NVIDIA H200 NVL vem com uma assinatura do NVIDIA AI Enterprise de cinco anos e simplifica a maneira como você cria uma plataforma corporativa pronta para IA. A H100 acelera o desenvolvimento e a implantação de IA para soluções de IA generativa prontas para produção, incluindo visão computacional, IA de fala, geração aumentada de recuperação (RAG) e muito mais. O NVIDIA AI Enterprise inclui o NVIDIA NIM™, um conjunto de microsserviços fáceis de usar projetados para acelerar a implantação de IA generativa corporativa. Juntas, as implantações têm segurança, capacidade de gerenciamento, estabilidade e suporte de nível empresarial. Isso resulta em soluções de IA otimizadas para desempenho que fornecem valor comercial mais rápido e insights acionáveis.
Especificações Técnicas
GPU NVIDIA H200 Tensor Core
| H200 SXM¹ | H200 NVL¹ | |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor Core² | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor Core² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP16 Tensor Core² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP8 Tensor Core² | 3,958 TFLOPS | 3,341 TFLOPS |
| INT8 Tensor Core² | 3,958 TFLOPS | 3,341 TFLOPS |
| Memória da GPU | 141GB | 141GB |
| Largura de Banda de Memória de GPU | 4.8TB/s | 4.8TB/s |
| Decodificadores | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| Computação Confidencial | Suportado | Compatível |
| Potência de Design Térmico Máximo (TDP) | Até 700W (configurável) | Até 600W (configurável) |
| GPUs Multi-Instância | Até 7 MIGs @18GB cada | Até 7 MIGs @16,5GB cada |
| Formato | SXM | PCIe Resfriamento por ar de dois slots |
| Interconexão | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
Ponte NVIDIA NVLink de 2 ou 4 vias: 900GB/s por GPU PCIe Gen5: 128GB/s |
| Opções de Servidor | Parceiro NVIDIA HGX™ H200 e Sistemas Certificados pela NVIDIA™ com 4 ou 8 GPUs | Parceiro NVIDIA MGX™ H200 NVL e Sistemas Certificados pela NVIDIA com até 8 GPUs |
| NVIDIA AI Enterprise | Opcional | Incluído |
|
1 Especificações preliminares. Pode estar sujeito a alterações. |
||
Comece Agora
Quero ser informado quenaod este produto estiver disponivel.