GPU NVIDIA A100 con Tensor Core

La complejidad de los modelos de IA se dispara a medida que se enfrentan a desafíos de mayor nivel, como la IA conversacional. Entrenarlos requiere una enorme potencia de computación y escalabilidad.

Los núcleos Tensor Core de la NVIDIA A100 con Tensor Float (TF32) ofrecen un rendimiento hasta 20 veces mayor que el de la NVIDIA Volta, sin cambios de código y ofreciendo un impulso adicional duplicado con precisión combinada automática y FP16. Cuando se combina con NVIDIA^® NVLink^®, NVIDIA NVSwitch^™, PCI Gen4, NVIDIA^® Mellanox^® InfiniBand^® y el SDK de NVIDIA Magnum IO^™, es posible escalar a miles de GPU A100.

Una carga de trabajo de entrenamiento como BERT puede resolverse a escala en menos de un minuto en 2048 GPU A100, lo cual constituye un récord mundial.

Para los modelos más grandes con tablas de datos enormes, como los modelos de recomendación de deep learning (DLRM), la A100 de 80 GB alcanza hasta 1,3 TB de memoria unificada por nodo y triplica el rendimiento con respecto a la A100 de 40 GB.

NVIDIA es líder en MLPerf y ha batido varios récords de rendimiento en la prueba de referencia del sector para el entrenamiento de IA.

Quantum Espresso​

Los científicos de datos deben poder analizar, visualizar y convertir conjuntos de datos de gran tamaño en información. Sin embargo, las soluciones de escalado horizontal a menudo se detienen a medida que estos conjuntos de datos se dispersan en varios servidores.

Los servidores acelerados con la A100 ofrecen la potencia de computación necesaria, junto con una memoria masiva, 2 TB/s de ancho de banda de memoria y escalabilidad con NVIDIA^® NVLink^® y NVSwitch^™ para hacer frente a estas cargas de trabajo. En combinación con InfiniBand, NVIDIA Magnum IO^™ y las bibliotecas de código abierto del paquete RAPIDS^™, como el acelerador de RAPIDS para Apache Spark para el análisis de datos acelerado por GPU, la plataforma de centro de datos de NVIDIA acelera estas enormes cargas de trabajo a niveles de rendimiento y eficacia sin precedentes.

En una prueba de referencia de análisis de big data, la A100 de 80 GB ofreció información con un rendimiento 83 veces mayor que las CPU y el doble de rendimiento que la A100 de 40 GB, lo que la convierte en una solución idónea para cargas de trabajo emergentes con tamaños de conjuntos de datos cada vez mayores.

La A100 con MIG maximiza la utilización de las infraestructuras aceleradas por GPU. Con MIG, una GPU A100 se puede dividir en hasta siete instancias independientes, lo que hace posible que varios usuarios accedan a la aceleración de dicha GPU. Con la A100 de 40 GB, se pueden asignar hasta 5 GB a cada instancia de MIG. Con la mayor capacidad de memoria de la A100 de 80 GB, ese tamaño se duplica hasta los 10 GB.

MIG funciona con Kubernetes, contenedores y virtualización de servidores basada en hipervisor. MIG permite a los administradores de infraestructuras ofrecer una GPU con el tamaño adecuado y calidad de servicio (QoS) garantizada para cada tarea, lo que amplía el alcance de los recursos de computación acelerados a todos los usuarios.