GPU NVIDIA A30 Tensor Core

Entrenar modelos de IA para desafíos de siguiente nivel, como la IA conversacional, requiere una capacidad enorme de potencia de computación y escalabilidad.

NVIDIA A30 Tensor Cores con Tensor Float (TF32) tiene un rendimiento hasta 10 veces mayor que el de NVIDIA T4, sin cambios de código, y una aceleración adicional duplicada con precisión mixta automática y FP16, de manera que la mejora combinada es 20 veces superior. Al combinarse con NVIDIA^® NVLink^®, PCIe Gen4, el sistema de red NVIDIA Mellanox^® y el SDK NVIDIA Magnum IO™, es posible escalar a miles de GPU. 

Tensor Cores y MIG permiten que el A30 se use para cargas de trabajo dinámicamente durante todo el día. Se puede utilizar para la inferencia de producción en momentos de máxima demanda, y parte de la GPU se puede reutilizar para volver a entrenar rápidamente esos mismos modelos durante las horas de menor actividad.

NVIDIA ha batido varios récords de rendimiento en MLPerf, el índice de referencia del sector para el entrenamiento de IA. 

A fin de poder hacer los descubrimientos de la próxima generación, los científicos buscan simulaciones para comprender mejor el mundo que nos rodea.

NVIDIA A30 cuenta con la arquitectura FP64 NVIDIA Ampere Tensor Cores que ofrece el mayor salto en rendimiento de HPC desde la introducción de las GPU. Combinado con 24 gigabytes (GB) de memoria de GPU con un ancho de banda de 933 gigabytes por segundo (GB/s), los investigadores pueden resolver rápidamente cálculos de doble precisión. Las aplicaciones HPC también pueden aprovechar TF32 para lograr un rendimiento superior para operaciones de multiplicación de matrices densas de precisión sencilla.

La combinación de FP64 Tensor Cores y MIG permite a los centros de investigación particionar de forma segura la GPU para permitir a varios investigadores acceder a recursos informáticos con la garantía de QoS y la máxima utilización de GPU. Las empresas que implementan IA pueden usar las capacidades de inferencia del A30 durante los períodos de demanda máxima y, a continuación, reutilizar los mismos servidores informáticos para cargas de trabajo de formación de HPC y IA durante los momentos de menor actividad. 

A30 con MIG maximiza la utilización de infraestructura acelerada por GPU. Con MIG, una GPU A30 se puede dividir en hasta cuatro instancias independientes, lo que hace posible que varios usuarios utilicen la aceleración de la GPU.

MIG funciona con Kubernetes, contenedores y virtualización de servidores basada en hipervisor. MIG permite a los administradores de infraestructuras ofrecer una GPU con calidad de servicio (QoS) garantizada para cada tarea, lo que amplía el alcance de los recursos de computación acelerados a todos los usuarios.