GPU NVIDIA H200 Tensor Core

Para potenciar las cargas de trabajo de IA y HPC.

Ya disponible.

Hoja de datos | Especificaciones | Rendimiento de productos del centro de datos

La GPU para IA generativa y HPC

La GPU NVIDIA H200 Tensor Core acelera las cargas de trabajo generativas de IA y computación de alto rendimiento (HPC) con innovadoras capacidades de memoria y rendimiento. Como primera GPU con HBM3e, la H200, con una memoria más grande y rápida, impulsa la aceleración de la IA generativa y los modelos de lenguaje de gran tamaño (LLM), al tiempo que hace avanzar la computación científica para cargas de trabajo de HPC.

NVIDIA acelera Hopper, la plataforma de computación de IA líder en el mundo

La NVIDIA HGX H200 cuenta con la GPU NVIDIA H200 Tensor Core con memoria avanzada para procesar enormes cantidades de datos para cargas de trabajo de computación de IA generativa y de alto rendimiento.

Leer la nota de prensa

Aspectos destacados

Experimente un rendimiento de otro nivel

Inferencia Llama2 70B

1.9X más rápido

Inferencia GPT3-175B

1.6X más rápido

Computación de alto rendimiento

110X más rápido

Ventajas

Mayor rendimiento con una memoria más grande y rápida

Basada en la arquitectura de NVIDIA Hopper™, la NVIDIA H200 es la primera GPU que ofrece 141 gigabytes (GB) de memoria HBM3e a 4,8 terabytes por segundo (TB/s), lo que supone casi el doble de capacidad que la GPU NVIDIA H100 Tensor Core, con 1,4 veces más ancho de banda de memoria. La H200 cuenta con una memoria más grande y rápida que acelera la IA generativa y los LLM, a la vez que hace avanzar la computación científica para cargas de trabajo de HPC con una mejor eficiencia energética y un menor coste total de propiedad.

Desbloquear información con la inferencia de LLM de alto rendimiento

En el panorama en constante evolución de la IA, las empresas confían en los LLM para abordar una amplia gama de necesidades de inferencia. Un acelerador de inferencia de IA debe ofrecer el mayor rendimiento con el coste total de propiedad (TCO) más bajo cuando se implementa a escala para una base de usuarios de gran tamaño.

La H200 aumenta las velocidades de inferencia hasta 2 veces en comparación con las GPU H100 al manejar LLM como Llama2.

Explorar la plataforma de inferencia de IA de NVIDIA

Potenciar la computación de alto rendimiento

El ancho de banda de memoria es crucial para las aplicaciones HPC, ya que permite una transferencia de datos más rápida, lo que reduce los cuellos de botella de procesamiento complejos. Para aplicaciones HPC con uso intensivo de memoria, como simulaciones, investigación científica e inteligencia artificial, el mayor ancho de banda de memoria de la H200 garantiza que se pueda acceder a los datos y manipularlos de forma eficiente, lo que conduce a un tiempo de obtención de resultados 110 veces más rápido en comparación con las CPU.

Más información sobre la computación de alto rendimiento

Especificaciones preliminares. Pueden estar sujetas a cambios.
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32

Reducir la energía y el TCO

Con la introducción de la H200, la eficiencia energética y el TCO alcanzan nuevos niveles. Esta tecnología de vanguardia ofrece un rendimiento sin precedentes, todo dentro del mismo perfil de potencia que la GPU H100. Las fábricas de IA y los sistemas de supercomputación que no solo son más rápidos, sino también más ecológicos, ofrecen una ventaja económica que impulsa a la comunidad científica y de IA hacia el futuro.

Más información sobre la computación sostenible

Liberar la aceleración de IA para los servidores empresariales convencionales

La NVIDIA H200 NVL es la opción ideal para los clientes que tienen limitaciones de espacio dentro del centro de datos, ya que ofrece aceleración para cada carga de trabajo de IA y HPC, independientemente del tamaño. Con un aumento de la memoria 1,5 veces mayor y del ancho de banda 1,2 veces mayor que la generación anterior, los clientes pueden ajustar los LLM en unas pocas horas y experimentar la inferencia de LLM 1,8 veces más rápido.

Preparado para empresas: el software de IA optimiza el desarrollo y la implementación

NVIDIA AI Enterprise, junto con NVIDIA H200, simplifica la creación de una plataforma preparada para la IA, lo que acelera el desarrollo de la IA y la implementación de la IA generativa, la visión computarizada y la IA de voz, entre otros. Junto con los microservicios de inferencia NIM, las implementaciones disponen de una seguridad, una capacidad de administración, una estabilidad y un soporte de nivel empresarial. El resultado es una información más rápida y práctica, y la consecución más rápida de un valor empresarial tangible.

Activar la licencia de NVIDIA AI Enterprise

Especificaciones