NVIDIA 멀티 인스턴스 GPU
단일 GPU에 구현된 7개의 독립 인스턴스
멀티 인스턴스 GPU(MIG)는 NVIDIA Blackwell 및 Hopper™ 세대 GPU의 성능과 가치를 확장합니다. MIG는 GPU를 각각 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어를 갖추고 완전하게 격리된 최대 7개의 인스턴스로 파티셔닝할 수 있습니다. 그러면 관리자는 가장 소규모부터 가장 대규모까지 아우르는 모든 워크로드를 지원할 수 있으므로, 서비스 품질(QoS)이 보장되고, 가속화된 컴퓨팅 리소스의 범위를 모든 사용자에게로 확장할 수 있습니다.
제품 개요
기술 작동 방법
MIG 없이 동일한 GPU에서 서로 다른 AI 추론 요청 등의 다양한 작업을 실행하면 각 작업이 동일한 리소스를 두고 경쟁합니다. 더 큰 메모리 대역폭을 소비하는 작업이 다른 작업을 방해하여 일부 작업은 지연 시간 목표를 달성하지 못하는 결과가 발생합니다. MIG를 사용하면 컴퓨팅, 메모리, 메모리 대역폭을 위한 전용 리소스를 갖춘 서로 다른 인스턴스에서 작업이 동시에 실행되므로 서비스 품질을 통한 예측 가능한 성능과 GPU 사용률을 극대화할 수 있습니다.
Blackwell GPU의 MIG
Blackwell 및 Hopper GPU는 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 멀티 테넌트 및 멀티 사용자 구성으로 MIG를 지원하고, 하드웨어 및 하이퍼바이저 수준에서 컨피덴셜 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다. 각 MIG 인스턴스에 대한 전용 비디오 디코더는 공유 인프라에서 안전하고 처리량이 높은 지능형 영상 분석(IVA)을 제공합니다. 관리자는 동시 MIG 프로파일링을 통해 적합한 크기의 GPU 가속을 모니터링하고 여러 사용자를 위한 리소스를 할당할 수 있습니다.
워크로드가 적은 연구원의 경우 전체 클라우드 인스턴스를 대여하기보다는 MIG를 사용하여 GPU의 일부를 안전하게 격리하는 동시에 데이터를 저장, 전송, 사용 시 안전하게 보호할 수 있습니다. 이를 통해 클라우드 서비스 제공업체가 가격을 책정하고 더 작은 고객 기회를 해결할 때의 유연성을 개선할 수 있습니다.
MIG 활용 사례 보기
IT와 DevOps 팀을 위한 구축
MIG는 IT 및 DevOps 팀에서 세분화된 GPU 프로비저닝을 가능하게 합니다. 각 MIG 인스턴스는 애플리케이션에 대해 독립형 GPU와 같이 동작하므로 CUDA® 플랫폼이 변경되지 않습니다. MIG는 모든 주요 엔터프라이즈 컴퓨팅 환경에서 사용할 수 있습니다.
MIG 사양
| Blackwell Ultra GPU | Blackwell GPU* | H100 GPU | |
|---|---|---|---|
| 컨피덴셜 컴퓨팅 | 예 | 예 | 예 |
| 인스턴스 유형 | 최대 34GB 7개 최대 70GB 4개 최대 140GB 2개 최대 288GB 1개 |
최대 23GB 7개 최대 45GB 4개 최대 95GB 2개 최대 192GB 1개 |
7x 10GB 4x 20GB 40GB 2개 1x 80GB |
| GPU 프로파일링 및 모니터링 | 모든 인스턴스에서 동시에 | 모든 인스턴스에서 동시에 | 모든 인스턴스에서 동시에 |
| 안전한 테넌트 | 7x | 7x | 7x |
| 미디어 디코더 | 인스턴스 당 전용 NVJPEG 및 NVDEC | 인스턴스 당 전용 NVJPEG 및 NVDEC | 인스턴스 당 전용 NVJPEG 및 NVDEC |
예비 사양이며 변경될 수 있습니다. *GB200 NVL72의 Blackwell GPU에 대해 표시된 크기입니다. HGX B200에 포함된 Blackwell GPU의 MIG 크기는 더 작으니 기술 문서를 참조하세요..
MIG에 대해 자세히 알아보세요.