GPU NVIDIA Multi-Instâncias

Uma GPU pode ser particionada em instâncias MIG de tamanhos diferentes. Por exemplo, em uma NVIDIA H100, um administrador poderia criar duas instâncias com 40GB de memória cada, quatro instâncias com 20GB cada ou sete instâncias com 10GB cada, ou uma combinação.

As instâncias MIG também podem ser reconfiguradas dinamicamente, permitindo que os administradores alterem os recursos da GPU em resposta às mudanças nas demandas dos usuários e dos negócios. Por exemplo, sete instâncias MIG podem ser usadas durante o dia para inferência de baixo rendimento e reconfiguradas para uma grande instância MIG à noite para treinamento de deep learning.

Com um conjunto dedicado de recursos de hardware para computação, memória e cache, cada instância MIG oferece qualidade de serviço garantida e isolamento de falhas. Isso significa que uma falha em uma aplicação em execução em uma instância não afeta as aplicações em execução em outras instâncias.

Isso também significa que diferentes instâncias podem executar diferentes tipos de cargas de trabalho: desenvolvimento de modelos interativos, treinamento de deep learning, inferência de IA ou aplicações HPC. Como as instâncias são executadas em paralelo, as cargas de trabalho também são executadas em paralelo, mas separadas e isoladas, na mesma GPU física.