GPU NVIDIA H100 Tensor Core
Desempeño, escalabilidad y seguridad de un nivel excepcional para cada centro de datos.
Un salto exponencial para la computación acelerada
La GPU NVIDIA H100 Tensor Core ofrece un nivel excepcional de desempeño, escalabilidad y seguridad para cada carga de trabajo. H100 utiliza innovaciones revolucionarias basadas en la arquitectura NVIDIA Hopper™ para ofrecer una IA conversacional líder en la industria, lo que acelera 30 veces los modelos extensos de lenguaje (LLM). H100 también incluye un motor transformador dedicado para resolver modelos de lenguaje con billones de parámetros.
Acelere las cargas de trabajo de manera segura de la empresa a la exaescala
Entrenamiento de IA hasta 4 veces mayor en GPT-3
El desempeño proyectado puede cambiar. Clúster A100 de entrenamiento para GPT-3 175B: red HDR IB, clúster H100: red NDR IB | Switch Transformer para entrenamiento de mezcla de expertos (MoE) - variante XXL con 395 mil millones de parámetros en un conjunto de datos de 1 billón de tokens, clúster A100: red HDR IB, clúster H100: red NDR IB con sistema de switch NVLink donde se indique.
Entrenamiento de IA transformacional
H100 cuenta con núcleos Tensor de cuarta generación y el motor Transformer con precisión FP8 que proporciona un entrenamiento hasta 4 veces más rápido, en comparación con la generación anterior para los modelos GPT-3 (175B). La combinación de NVLink de cuarta generación, que ofrece 900 gigabytes por segundo (GB/s) de interconexión entre las GPU; el sistema de red NDR Quantum-2 InfiniBand, que acelera la comunicación colectiva por cada GPU a través de nodos; PCIe Gen5 y el software NVIDIA Magnum IO™ ofrece escalabilidad eficiente útil para pequeñas empresas hasta clústeres de GPU enormes y unificados.
La implementación de las GPU H100 a escala de centros de datos ofrece un desempeño sobresaliente y pone la próxima generación de computación de alto rendimiento (HPC) con exaescala e IA con billones de parámetros al alcance de todos los investigadores.
Inferencia de aprendizaje profundo en tiempo real
La IA resuelve una amplia variedad de desafíos comerciales, ya que usa una amplia variedad de redes neuronales. Un gran acelerador de inferencia de IA no solo tiene que ofrecer el desempeño más alto, sino también la versatilidad para acelerar estas redes.
H100 amplía el liderazgo de inferencia líder en el mercado de NVIDIA con varios avances que aceleran la inferencia hasta 30 veces y ofrecen la latencia más baja. Los núcleos Tensor de cuarta generación aceleran todas las precisiones, lo que incluye FP64, TF32, FP32, FP16, INT8 y ahora FP8, para reducir el uso de memoria y aumentar el desempeño, manteniendo a la vez la precisión de los LLM.
Un desempeño de inferencia de IA hasta 30 veces mayor en los modelos más extensos
Inferencia del chatbot Megatron (530,000 millones de parámetros)
El desempeño proyectado puede cambiar. Inferencia en el chatbot Megatron, basado en modelos de 530 mil millones de parámetros, para longitud de secuencia de entrada=128, longitud de secuencia de salida=20 | Clúster A100: red HDR IB | Clúster H100: sistema de conmutación NVLink, NDR IB
Desempeño hasta 7 veces más alto para aplicaciones de HPC
El desempeño proyectado puede cambiar. Rendimiento de FFT 3D (4K ^ 3) | Clúster A100: red HDR IB | Clúster H100: Sistema de Switch NVLink, NDR IB | Secuenciación del Genoma (Smith-Waterman) | 1 | A100 1 H100
Computación de alto rendimiento a exaescala
La plataforma para centros de datos de NVIDIA ofrece constantemente incrementos de desempeño que superan la Ley de Moore. Además, las nuevas y revolucionarias capacidades de IA de H100 amplifican aún más la potencia de HPC+IA para acelerar el tiempo de descubrimiento para los científicos e investigadores que trabajan en la resolución de los desafíos más importantes del mundo.
H100 triplica las operaciones de punto flotante por segundo (FLOPS) de los núcleos Tensor de doble precisión, logrando 60 teraflops de computación FP64 para HPC. Las aplicaciones de HPC fusionadas con IA también pueden aprovechar la precisión TF32 de H100 para lograr un petaflop de tasa de transferencia para operaciones de multiplicación de matrices de precisión única, sin cambios en el código.
H100 también cuenta con nuevas instrucciones DPX que ofrecen un desempeño 7 veces más alto en A100 y 40 veces más velocidad que las CPU en algoritmos de programación dinámicos, como Smith-Waterman, para la alineación de las secuencias de ADN y la alineación de proteínas para la predicción de la estructura de proteínas.
Comparación de instrucciones DPX en NVIDIA HGX™ H100 de 4 GPU versus IceLake de doble zócalo y 32 núcleos.
Análisis de datos acelerado
A menudo, el análisis de datos consume la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los grandes conjuntos de datos se dispersan en varios servidores, las soluciones de escalabilidad horizontal con servidores de solo CPU básicos se verán estancadas por la falta de desempeño de computación escalable.
Los servidores acelerados con H100 ofrecen, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch™, la potencia de computación para abordar el análisis de datos con alto desempeño y escalabilidad y admitir enormes conjuntos de datos. La plataforma de centros de datos de NVIDIA está en una posición única para acelerar estas enormes cargas de trabajo con niveles incomparables de desempeño y eficacia, ya que se combina con NVIDIA Quantum-2 Infiniband, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS™.
Utilización lista para empresas
Los gerentes de TI buscan maximizar la utilización (pico y promedio) de los recursos de computación en el centro de datos. A menudo, emplean la reconfiguración dinámica de la computación a los recursos del tamaño adecuado para las cargas de trabajo en uso.
H100 con MIG les permite a los administradores de infraestructura estandarizar su infraestructura acelerada por GPU, al mismo tiempo que tienen la flexibilidad de aprovisionar recursos de GPU con un mayor detalle, para proporcionar de forma segura a los desarrolladores la cantidad correcta de procesamiento acelerado y optimizar el uso de todos sus recursos de GPU.
Computación confidencial integrada
Las soluciones de computación confidencial tradicionales se basan en la CPU, lo que es demasiado limitado para cargas de trabajo de computación intensiva, como la IA a escala. La computación confidencial de NVIDIA es una función de seguridad integrada de la arquitectura NVIDIA Hopper que convirtió a H100 en el primer acelerador del mundo con estas capacidades. Con NVIDIA Blackwell, la oportunidad de aumentar exponencialmente el desempeño al tiempo que se protege la confidencialidad y la integridad de los datos y las aplicaciones en uso permite habilitar perspectivas sobre los datos como nunca antes. Ahora los clientes pueden usar un entorno de ejecución confiable (TEE) basado en hardware que protege y aísla toda la carga de trabajo de la manera más eficiente.
Desempeño excepcional para HPC e IA a gran escala
La GPU Hopper Tensor Core potenciará la arquitectura NVIDIA Grace Hopper de CPU+GPU, diseñada específicamente para la computación acelerada a escala de terabytes, que proporciona un desempeño 10 veces más alto en HPC e IA de modelos extensos. La CPU NVIDIA Grace aprovecha la flexibilidad de la arquitectura Arm® para crear una arquitectura de CPU y de servidor diseñada desde cero para la computación acelerada. La GPU Hopper se combina con la CPU Grace mediante la interconexión de chips ultrarrápida de NVIDIA, que ofrece 900 GB/s de ancho de banda, 7 veces más rvelocidad que PCIe Gen5. Este diseño innovador ofrecerá un ancho de banda de memoria del sistema combinado hasta 30 veces mayor a la GPU en comparación con los servidores más rápidos de la actualidad, y un desempeño hasta 10 veces mayor para aplicaciones que ejecutan terabytes de datos.
Potencie la inferencia de modelos extensos de lenguaje con H100 NVL
Para los LLM de hasta 70 mil millones de parámetros (Llama 2 70B), NVIDIA H100 NVL basado en PCIe con el bridge NVLink utiliza Transformer Engine, NVLink y 188 GB de memoria HBM3 para proporcionar un desempeño óptimo y un fácil escalado en cualquier centro de datos, lo que incorpora los LLM a los procesos convencionales. Los servidores equipados con las GPU H100 NVL aumentan el desempeño de Llama 2-70B hasta 5 veces más que los sistemas NVIDIA 100, manteniendo a la vez una baja latencia en entornos de centros de datos con restricciones en el uso de energía.
Listo para empresas: El software de IA simplifica el desarrollo y la implementación
NVIDIA H100 NVL viene con una suscripción de cinco años a NVIDIA AI Enterprise y simplifica la forma en que se construye una plataforma empresarial lista para la IA. H100 acelera el desarrollo y la implementación de la IA para soluciones de IA generativa listas para la producción, que incluyen visión computarizada, IA del habla, generación aumentada por recuperación (RAG) y más. NVIDIA AI Enterprise incluye NVIDIA NIMTM, un conjunto de microservicios fáciles de usar diseñados para acelerar la implementación de la IA generativa empresarial. Juntas, las implementaciones tienen seguridad, capacidad de administración, estabilidad y soporte de nivel empresarial. Esto da como resultado soluciones de IA optimizadas para desempeño que proporcionan perspectivas que se pueden llevar a la acción y un valor empresarial más rápido.
Especificaciones del producto
| H100 SXM | H100 NVL | |
|---|---|---|
| FP64 | 34 teraFLOPS | 30 teraFLOPs |
| Núcleo Tensor FP64 | 67 teraFLOPS | 60 teraFLOPs |
| FP32 | 67 teraFLOPS | 60 teraFLOPs |
| Núcleo Tensor TF32* | 989 teraFLOPS | 835 teraFLOPs |
| Núcleo Tensor BFLOAT16* | 1,979 teraFLOPS | 1,671 teraFLOPS |
| Núcleo Tensor FP16* | 1,979 teraFLOPS | 1,671 teraFLOPS |
| Núcleo Tensor FP8* | 3,958 teraFLOPS | 3,341 teraFLOPS |
| Núcleo Tensor INT8* | 3,958 TOPS | 3,341 TOPS |
| Memoria de GPU | 80 GB | 94 GB |
| Ancho de banda de memoria de GPU | 3.35TB/s | 3.9 TB/s |
| Decodificadores | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| Potencia máxima de diseño térmico (TDP) | Hasta 700 W (configurable) | 350 W - 400 W (configurable) |
| GPU de instancias múltiples | Hasta 7 MIG a 10 GB cada una | Hasta 7 MIG a 12 GB cada una |
| Formato | SXM | PCIe de doble ranura refrigerado por aire |
| Interconexión | NVIDIA NVLink™: 900 GB/s PCIe Gen5: 128 GB/s |
NVIDIA NVLink: 600 GB/s PCIe Gen5: 128 GB/s |
| Opciones de servidor | Socio de NVIDIA HGX H100 y Sistemas Certificados por NVIDIA ™ con 4 u 8 GPU NVIDIA DGX H100 con 8 GPU |
Socios y Sistemas Certificados por NVIDIA con 1 a 8 GPU |
| NVIDIA AI Enterprise | Complemento | Incluido |
* Con baja densidad
Explora en detalle la arquitectura NVIDIA Hopper.