GPU NVIDIA de Múltiples Instancias

Siete instancias independientes en una sola GPU.

La GPU de instancias múltiples (MIG) amplía el rendimiento y el valor de las GPU de generación NVIDIA Blackwell y Hopper™. MIG puede dividir la GPU en hasta siete instancias, cada una completamente aislada con su propia memoria de gran ancho de banda, caché y núcleos de computación. Esto brinda a los administradores la capacidad de soportar cada carga de trabajo, desde la más pequeña hasta la más grande, con calidad de servicio (QoS) garantizada y ampliando el alcance de los recursos de computación acelerados a cada usuario.

Resumen de Beneficios

Ampliar el Acceso a la GPU

Con MIG, puede lograr hasta 7 veces más recursos de GPU en una sola GPU. MIG ofrece a investigadores y desarrolladores más recursos y flexibilidad que nunca.

Optimice la Utilización de la GPU

MIG brinda la flexibilidad de elegir muchos tamaños de instancia diferentes, lo que permite el aprovisionamiento de la instancia de GPU del tamaño adecuado para cada carga de trabajo, lo que en última instancia optimiza la utilización y maximiza la inversión en el data center.

Ejecute Cargas de Trabajo Simultáneas

MIG permite que cargas de trabajo de inferencia, capacitación y computación de alto rendimiento (HPC) se ejecuten al mismo tiempo en una única GPU con latencia y rendimiento deterministas. A diferencia de la división del tiempo, cada carga de trabajo se ejecuta en paralelo, lo que ofrece un mayor rendimiento.

Cómo Funciona la Tecnología

Sin MIG, los diferentes trabajos que se ejecutan en la misma GPU, como diferentes solicitudes de inferencia de IA, compiten por los mismos recursos. Un trabajo que consume un ancho de banda de memoria más grande impide que los otros trabajos se completen, lo que hace que no puedan cumplir con sus objetivos de latencia. Con MIG, los trabajos se ejecutan simultáneamente en diferentes instancias, cada una con recursos dedicados para la computación, la memoria y el ancho de banda de memoria, lo que da como resultado un rendimiento predecible con QoS y la máxima utilización de la GPU.

Aprovisionar y Configurar Instancias Según Sea Necesario

Una GPU se puede dividir en instancias MIG de diferentes tamaños. Por ejemplo, en una NVIDIA H100, un administrador podría crear dos instancias con 40GB de memoria cada una, cuatro instancias con 20GB cada una o siete instancias con 10GB cada una, o una combinación.

Las instancias MIG también se pueden reconfigurar dinámicamente, lo que permite a los administradores cambiar los recursos de GPU en respuesta a las demandas cambiantes de los usuarios y las empresas. Por ejemplo, se pueden usar siete instancias MIG durante el día para inferencias de bajo rendimiento y reconfigurarse en una instancia MIG grande por la noche para capacitación en deep learning.

Ejecute Cargas de Trabajo en Paralelo y de Forma Segura

Con un conjunto dedicado de recursos de hardware para computación, memoria y caché, cada instancia MIG ofrece QoS y aislamiento de fallas garantizados. Eso significa que una falla en una aplicación que se ejecuta en una instancia no afecta a las aplicaciones que se ejecutan en otras instancias.

También significa que diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, entrenamiento de deep learning, inferencia de IA o aplicaciones HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también se ejecutan en paralelo (pero separadas y aisladas) en la misma GPU física.

MIG en GPU Blackwell

Las GPU Blackwell y Hopper admiten MIG con configuraciones multiinquilino y multiusuario en entornos virtualizados en hasta siete instancias de GPU, aislando de forma segura cada instancia con computación confidencial a nivel de hardware e hipervisor. Los decodificadores de video dedicados para cada instancia MIG brindan análisis de video inteligente (IVA) seguros y de alto rendimiento en infraestructura compartida. Con perfiles MIG simultáneos, los administradores pueden monitorear la aceleración de GPU del tamaño adecuado y asignar recursos para múltiples usuarios.

Para los investigadores con cargas de trabajo más pequeñas, en lugar de alquilar una instancia completa en la nube, pueden usar MIG para aislar una parte de una GPU de forma segura y, al mismo tiempo, tener la seguridad de que sus datos están seguros en reposo, en tránsito y en uso. Esto mejora la flexibilidad para que los proveedores de servicios en la nube fijen precios y aborden oportunidades para clientes más pequeños.

Ver MIG en Acción

Ejecuta Varias Cargas de Trabajo en una sola GPU A100

Esta demostración ejecuta cargas de trabajo de IA y de computación de alto rendimiento (HPC) de forma simultánea en la misma GPU A100.

Aumento del Rendimiento y la Utilización con la GPU de Múltiples Instancias

Esta demostración muestra el rendimiento de la inferencia en una sola porción de MIG y, luego, se escala linealmente en toda la A100.

Diseñado para TI y DevOps

MIG permite el aprovisionamiento detallado de la GPU por parte de los equipos de TI y DevOps. Cada instancia de MIG se comporta como una GPU independiente para las aplicaciones, por lo que no hay cambio en la plataforma CUDA®. MIG se puede usar en los principales entornos de computación empresarial.

Especificaciones de MIG

  GB200/B200/B100 H100 H200
Computación Confidencial
Tipos de Instancia Up to 7x 23GB
Up to 4x 45GB
Up to 2x 95GB
Up to 1x 192GB
7x 10GB
4x 20GB
2x 40GB
1x 80GB
Up to 7x 18GB
Up to 4x 35GB
Up to 2x 71GB
Up to 1x 141GB
Perfilado y Monitoreo de GPU Simultáneamente en todas las instancias Simultáneamente en todas las instancias Simultáneamente en todas las instancias
Inquilinos Seguros 7x 7x 7x
Decodificadores de Medios NVJPEG y NVDEC dedicados por instancia NVJPEG y NVDEC dedicados por instancia NVJPEG y NVDEC dedicados por instancia

Especificaciones preliminares, pueden estar sujetas a cambios.

Obtenga Más Información Sobre NVIDIA Blackwell.