NVIDIA Vera Rubin NVL72
에이전틱 AI의 차세대 프론티어를 구축하며, 이제 본격적인 양산 단계에 돌입했습니다.
개요
7개의 새로운 칩, 하나의 AI 슈퍼컴퓨터
NVIDIA Vera Rubin NVL72는 72개의 Rubin GPU, 36개의 Vera CPU, NVIDIA ConnectX™-9 SuperNIC, BlueField™-4 DPU와 같은 NVIDIA의 최첨단 기술을 통합합니다. NVIDIA NVLink™ 6 스위치를 통해 통합된 랙 스케일 플랫폼에서 인텔리전스를 스케일업하고 NVIDIA Quantum-X800 InfiniBand 및 Spectrum-X™ 이더넷을 통해 스케일아웃하여 대규모 AI 산업 혁명을 이끕니다. NVIDIA Groq 3 LPX 랙과 함께 배포될 때 Vera Rubin NVL72는 1조 개의 매개변수 모델과 100만 개의 토큰을 위한 새로운 수준의 추론 성능을 제공합니다.
Vera Rubin NVL72는 3세대 NVIDIA MGX™ NVL72 랙 설계를 기반으로 구축되었으며, 이전 세대에서 원활하게 전환할 수 있습니다. NVIDIA Blackwell과 비교하여 4분의 1의 GPU로 AI 학습을 수행하고, 100만 토큰당 10분의 1의 비용으로 AI 추론을 제공합니다. 케이블 없는 모듈형 트레이 설계와 80개 이상의 MGX 에코시스템 파트너 지원을 갖춘 랙 스케일 AI 슈퍼컴퓨터는 신속한 배포가 가능하며 세계 최고 수준의 성능을 제공합니다.
성능
AI 추론 및 학습의 효율성 대폭 증가
LLM 추론 성능은 변경될 수 있습니다. 32K/8K ISL/OSL을 지원하는 Kimi-K2-Thinking 모델을 기준으로, NVIDIA GB200 NVL72와 NVIDIA Vera Rubin NVL72의 100만 토큰당 비용을 비교한 그래프입니다.
추론 비용 절감
NVIDIA Vera Rubin NVL72는 상호작용 수준이 매우 높고 심층 추론이 가능한 에이전틱 AI를 사용할 때, NVIDIA GB200 NVL72와 비교하여 100만 토큰당 비용을 10분의 1 수준으로 제공합니다.
AI 팩토리 처리량 극대화
NVIDIA Vera Rubin NVL72는 NVIDIA GB200 NVL72 대비 메가와트당 최대 10배 더 많은 토큰을 처리하여 동일한 전력 수준으로 인텔리전스를 보다 확장합니다.
LLM 추론 성능은 변경될 수 있습니다. 32K/8K ISL/OSL을 지원하는 Kimi-K2 Thinking 모델을 기준으로, NVIDIA GB200 NVL72와 NVIDIA Vera Rubin NVL72의 MW당 초당 토큰을 비교한 그래프입니다.
예상 성능은 변경될 수 있습니다. 1개월의 고정된 기간 동안 100조 개의 토큰으로 학습한 10T MoE 모델을 기준으로, NVIDIA GB200 NVL72와 NVIDIA Vera Rubin NVL72의 GPU 수를 비교한 그래프입니다.
학습 효율 향상
NVIDIA Vera Rubin NVL72는 NVIDIA GB200 NVL72가 사용하는 GPU의 1/4 수준으로 전문가 혼합(mixture-of-experts, MoE) 모델을 학습합니다.
조 단위 매개변수 모델에 사용 가능한 35배 더 높은 처리량
에이전틱 시스템은 기존 AI 애플리케이션보다 최대 15배 더 많은 토큰을 소비합니다. AI 팩토리는 낮은 지연 시간과 효율적인 경제성으로 토큰 처리량 및 대규모 컨텍스트 창 요구 사항을 충족해야 합니다. Vera Rubin NVL72를 LPX와 함께 사용할 경우 조 단위 매개변수 모델에서 메가와트당 처리량이 최대 35배 더 향상됩니다.
예상 성능은 변경될 수 있습니다. 무료 계층($0): 32K KV 캐시 토큰을 갖춘 Qwen-3 2,350억 개의 매개변수 모델. 중간 계층(3달러): 128K KV-캐시 토큰을 갖춘 Kimi K2.5 1조 매개변수 모델. 상위 계층(6달러): 128K KV-캐시 토큰을 갖춘 GPT-MoE 2조 매개변수 모델. 프리미엄(45달러) 및 울트라(150달러) 티어: 400K KV-캐시 토큰을 갖춘 GPT-MoE 2조 매개변수 모델입니다.
AI 에이전트의 시대를 이끄는 기술
Vera Rubin 플랫폼
Vera Rubin 플랫폼은 NVIDIA Vera Rubin NVL72, NVIDIA Vera CPU, NVIDIA Groq 3 LPX, NVIDIA Vera BlueField-4 STX, NVIDIA Spectrum-6 SPX 이더넷과 같은 5개의 랙으로 세계 AI 팩토리를 확장하는 차세대 에이전틱 AI의 프론티어를 열었습니다. 하나의 놀라운 AI 슈퍼컴퓨터로 함께 작동하도록 설계된 이 랙은 대규모 사전 학습, 사후 학습 및 테스트 시간 확장부터 실시간 에이전틱 추론에 이르기까지 AI의 모든 단계를 구동합니다.
NVIDIA Vera Rubin NVL4
NVIDIA Vera Rubin NVL4는 NVLink-C2C를 통해 2개의 NVIDIA Vera CPU와 함께 6세대 NVIDIA NVLink를 실행하는 2세대 NVLink 브리지로 상호 연결된 4개의 NVIDIA Rubin GPU를 통해 혁신적인 성능을 제공합니다. 수냉식 NVIDIA MGX™ 모듈형 서버와 호환되며, Grace Hopper 대비 과학 컴퓨팅 시뮬레이션에서 최대 4배, AI-for-Science 학습에서 최대 6배, AI-for-Science 추론에서 최대 8배 향상된 성능을 제공합니다.
사양
100 MW AI 팩토리 사양
| NVIDIA Vera Rubin NVL72 기반 AI 팩토리¹ | |
|---|---|
| AI 팩토리 크기 구성 | MaxLPS를 갖춘 40K NVIDIA Rubin GPU |
| NVFP4 Inference² | 2 ZFLOPS |
| NVFP4 학습³ | 1.4 ZFLOPS |
| FP8/FP6 학습³ | 700 EFLOPS |
| FP16/BF16³ | 160 EFLOPS |
| TF32³ | 80 EFLOPS |
| GPU 메모리 | 대역폭 | 12 PB HBM4 | 800 PB/s |
| CPU 메모리 | 최대 30 PB LPDDR5X |
| 빠른 메모리 | 최대 42PB |
NVIDIA Vera Rubin NVL72 사양
| NVIDIA Vera Rubin NVL72 | NVIDIA Vera Rubin Superchip | NVIDIA Rubin GPU | |
|---|---|---|---|
| 구성 | 72개의 NVIDIA Rubin GPU | 36개의 NVIDIA Vera CPU | 2 NVIDIA Rubin GPU | 1 NVIDIA Vera CPU | 1 NVIDIA Rubin GPU |
| NVFP4 Inference² | 3,600 PFLOPS | 100 PFLOPS | 50 PFLOPS |
| NVFP4 학습³ | 2,520 PFLOPS | 70 PFLOPS | 35 PFLOPS |
| FP8/FP6 학습³ | 1,260 PFLOPS | 35 PFLOPS | 17.5 PFLOPS |
| FP16/BF16³ | 288 PFLOPS | 8 PFLOPS | 4 PFLOPS |
| TF32³ | 144 플롭스 | 4 PFLOPS | 2 PFLOPS |
| FP32 | 9,360 TFLOPS | 260 TFLOPS | 130 TFLOPS |
| FP64 | 2,400 TFLOPS | 67TFLOPS | 33 TFLOPS |
| GPU 메모리 | 대역폭 | 20.7 TB HBM4 | 1,400 TB/s | 576 GB HBM4 | 38.5 TB/s | 288 GB HBM4 | 19.2 TB/s |
| NVIDIA NVLink | 6세대 | ||
| NVLink 대역폭 | 216 TB/s
|
6 TB/s | 3 TB/s |
| NVLink-C2C Bandwidth | 65 TB/s | 1.8 TB/s | - |
| CPU 코어 수 | 3,168개의 맞춤형 NVIDIA Olympus 코어 | 6,336개 스레드 | 88개의 맞춤형 NVIDIA Olympus 코어 176개 스레드 | - |
| CPU 메모리 | 최대 54 TB LPDDR5X | 최대 1.5 TB LPDDR5X | - |
| 네트워킹 대역폭(스케일 아웃)⁴ | 32.4 TB/s | 0.9 TB/s | 0.45 TB/s |
| 총 NVIDIA + HBM4 칩 | 1,296 | 30 | 12 |
| 100MW 내 GPU¹ | 40K GPU | ||
| 흡입 온도 | 45°C | ||
1. MaxLPS와 함께 NVIDIA DSX를 사용하는 대규모 AI 팩토리를 기반으로 하는 사양.
2. Sparse 사양.
3. Dense 사양.
4. 양방향 대역폭.
시작하기
NVIDIA 최신 뉴스 받기
등록하여 NVIDIA 최신 뉴스와 다양한 업데이트를 받으세요.