NVIDIA Multi-Instance GPU

Una GPU se puede dividir en particiones de instancias MIG de diferentes tamaños. Por ejemplo, en una NVIDIA H100, un administrador podría crear dos instancias con 40 GB de memoria cada una, cuatro instancias con 20 GB o siete instancias con 10 GB, o una mezcla.

Las instancias de MIG también se pueden reconfigurar de forma dinámica, lo que permite a los administradores cambiar los recursos de GPU en respuesta a las cambiantes demandas de usuarios y empresas. Por ejemplo, se pueden utilizar siete instancias de MIG durante el día para la inferencia de bajo rendimiento y volver a configurarlas en una instancia de MIG grande por la noche para formación de deep learning.

Con un conjunto dedicado de recursos de hardware para computación, memoria y memoria caché, cada instancia de MIG ofrece una calidad de servicio (QoS) garantizada y aislamiento de errores. Esto significa que un error en una aplicación que se ejecuta en una instancia no afecta a las aplicaciones que se ejecutan en otras instancias.

También indica que diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, formación de deep learning, inferencia de IA o aplicaciones HPC Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también lo hacen, pero independientes y aisladas, en la misma GPU física.