GPU NVIDIA Multi-Instâncias

Sete instâncias independentes em uma única GPU.

A GPU multi-instância (MIG) expande o desempenho e o valor das GPUs da geração NVIDIA Blackwell e Hopper™. O MIG pode particionar a GPU em até sete instâncias, cada uma totalmente isolada com sua própria memória de alta largura de banda, cache e núcleos de computação. Isso dá aos administradores a capacidade de suportar todas as cargas de trabalho, da menor à maior, com qualidade de serviço (QoS) garantida e estendendo o alcance dos recursos de computação acelerados a todos os usuários.

Benefícios
Blackwell
Veja a MIG
Workloads
Especificações

Benefícios

Benefícios
Blackwell
Veja a MIG
Workloads
Especificações

Visão Geral dos Benefícios

Expanda o Acesso à GPU

Com o MIG, você pode obter até 7 vezes mais recursos de GPU em uma única GPU. O MIG oferece aos pesquisadores e desenvolvedores mais recursos e flexibilidade do que nunca.

Otimize a Utilização da GPU

O MIG oferece flexibilidade para escolher vários tamanhos de instância diferentes, o que permite provisionar a instância de GPU do tamanho certo para cada carga de trabalho, otimizando, em última análise, a utilização e maximizando o investimento no data center.

Execute Cargas de Trabalho Simultâneas

O MIG permite que cargas de trabalho de inferência, treinamento e computação de alto desempenho (HPC) sejam executadas ao mesmo tempo em uma única GPU com latência e taxa de transferência determinísticas. Ao contrário da divisão de tempo, cada carga de trabalho é executada em paralelo, proporcionando maior desempenho.

Como Funciona a Tecnologia

Sem a MIG, tarefas diferentes executadas na mesma GPU, como solicitações de inferência de AI, competem pelos mesmos recursos. Um trabalho que consome uma largura de banda de memória maior prejudica os outros, e várias tarefas podem ficar sem atingir os objetivos de latência. Com a MIG, os trabalhos são executados simultaneamente em diferentes instâncias, cada uma com recursos dedicados para computação, memória e largura de banda de memória, resultando em desempenho previsível com qualidade de serviço (QoS) e aproveitamento máximo da GPU.

Provisione e Configure Instâncias Conforme Necessário

Uma GPU pode ser particionada em instâncias MIG de tamanhos diferentes. Por exemplo, em uma NVIDIA H100, um administrador poderia criar duas instâncias com 40GB de memória cada, quatro instâncias com 20GB cada ou sete instâncias com 10GB cada, ou uma combinação.

As instâncias MIG também podem ser reconfiguradas dinamicamente, permitindo que os administradores alterem os recursos da GPU em resposta às mudanças nas demandas dos usuários e dos negócios. Por exemplo, sete instâncias MIG podem ser usadas durante o dia para inferência de baixo rendimento e reconfiguradas para uma grande instância MIG à noite para treinamento de deep learning.

Execute Cargas de Trabalho em Paralelo e com Segurança

Com um conjunto dedicado de recursos de hardware para computação, memória e cache, cada instância MIG oferece qualidade de serviço garantida e isolamento de falhas. Isso significa que uma falha em uma aplicação em execução em uma instância não afeta as aplicações em execução em outras instâncias.

Isso também significa que diferentes instâncias podem executar diferentes tipos de cargas de trabalho: desenvolvimento de modelos interativos, treinamento de deep learning, inferência de IA ou aplicações HPC. Como as instâncias são executadas em paralelo, as cargas de trabalho também são executadas em paralelo, mas separadas e isoladas, na mesma GPU física.

MIG em GPUs Blackwell

As GPUs Blackwell e Hopper suportam MIG com configurações multilocatários e multiusuários em ambientes virtualizados em até sete instâncias de GPU, isolando com segurança cada instância com computação confidencial no nível de hardware e hipervisor. Decodificadores de vídeo dedicados para cada instância MIG oferecem análise de vídeo inteligente (IVA) segura e de alto rendimento em infraestrutura compartilhada. Com o perfil MIG simultâneo, os administradores podem monitorar a aceleração da GPU no tamanho certo e alocar recursos para vários usuários.

Para pesquisadores com cargas de trabalho menores, em vez de alugar uma instância de nuvem completa, eles podem usar o MIG para isolar uma parte de uma GPU com segurança, garantindo ao mesmo tempo que seus dados estão seguros em repouso, em trânsito e em uso. Isso melhora a flexibilidade para que os provedores de serviços em nuvem precifiquem e abordem oportunidades menores de clientes.

Veja a MIG em Ação

Executando Várias Cargas de Trabalho em uma Única GPU A100

Esta demonstração executa cargas de trabalho de AI e computação de alto desempenho (HPC) simultaneamente na mesma GPU A100.

Assista Ao Vídeo

Aumentando o Desempenho e o Uso com uma GPU Multi-Instância

Esta demonstração mostra o desempenho de inferência em uma divisão de tempo de MIG e que em seguida é dimensionado linearmente em toda a A100.

Assista Ao Vídeo

Desenvolvida para IT e DevOps

A MIG permite o provisionamento detalhado de GPU pelas equipes de IT e DevOps. Cada instância de MIG se comporta como uma GPU autônoma para aplicações, então não há nenhuma alteração na plataforma CUDA®. A MIG pode ser usada nos principais ambientes de computação empresarial.

Implemente de Data Centers ao Edge

Use a MIG on premise, no cloud e no edge.

Use Contêineres

Execute aplicações conteinerizadas em instâncias MIG.

Suporte para Kubernetes

Programe pods de Kubernetes em instâncias MIG.

Virtualize Aplicações

Execute aplicações em instâncias MIG em uma máquina virtual.

Especificações da MIG

	GB200/B200/B100	H100	H200
Computação Confidencial	Sim	Sim	Sim
Tipos de Instância	Up to 7x 23GB Up to 4x 45GB Up to 2x 95GB Up to 1x 192GB	7x 10GB 4x 20GB 2x 40GB 1x 80GB	Up to 7x 18GB Up to 4x 35GB Up to 2x 71GB Up to 1x 141GB
Perfil e Monitoramento de GPU	Simultaneamente em todas as instâncias	Simultaneamente em todas as instâncias	Simultaneamente em todas as instâncias
Inquilinos Seguros	7x	7x	7x
Decodificadores de Mídia	NVJPEG e NVDEC dedicados por instância	NVJPEG e NVDEC dedicados por instância	NVJPEG e NVDEC dedicados por instância

Especificações preliminares, podem estar sujeitas a alterações

Saiba Mais Sobre a NVIDIA Blackwell.

Saiba Mais