NVIDIA GB200 NVL72
생성형 AI의 새로운 시대를 지원합니다.
실시간 1조 개 매개 변수 모델 활용
GB200 NVL72는 랙 스케일의 수랭식 설계로 36개의 Grace CPU와 72개의 Blackwell GPU를 연결합니다. 거대한 단일 GPU 역할을 하는 72GPU NVLink 도메인을 갖추고 있으며, 수조 개의 매개변수가 있는 실시간 거대 언어 모델(LLM) 추론 성능을 30배 향상시킵니다.
GB200 Grace Blackwell 슈퍼칩은 NVIDIA GB200 NVL72의 핵심 구성 요소로, 2개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 1개의 NVIDIA Grace™ CPU를 NVIDIA NVLink™-C2C 인터커넥트를 통해 2개의 Blackwell GPU에 연결합니다.
하이라이트
차세대 AI 및 가속 컴퓨팅 강화
LLM 추론 및 에너지 효율성: TTL = 50밀리초(ms) 실시간, FTL = 5초, 32,768 입력/1,024 출력, NVIDIA HGX™ H100 스케일 오버 InfiniBand(IB) 대 GB200 NVL72, 훈련 1.8T MOE 4096x HGX H100 스케일 오버 IB 대 456x GB200 NVL72 스케일 오버 IB. 클러스터 크기: 32,768
TPC-H Q4 쿼리에서 파생된 스내피/디플레이트 압축을 사용한 데이터베이스 병합 및 집계 워크로드. x86, H100 단일 GPU 및 GB200 NLV72의 단일 GPU와 Intel Xeon 8480+에 대한 사용자 맞춤형 쿼리 구현 비교
예상 성능은 변경될 수 있습니다.
특징
기술 혁신
새로운 산업 혁명을 위한 AI 팩토리
NVIDIA GB300 NVL72
NVIDIA GB300 NVL72는 Hopper 플랫폼 대비 40배 더 뛰어난 AI 추론 성능과 40TB의 고속 메모리를 제공하며, Quantum-X800 InfiniBand 또는 Spectrum™-X Ethernet을 사용하는 NVIDIA ConnectX®-8 SuperNIC와의 네트워킹 플랫폼 통합을 지원합니다. Blackwell Ultra는 에이전틱 시스템과 추론에서부터 30배 더 빠른 실시간 비디오 생성에 이르기까지 가장 복잡한 워크로드에서도 획기적인 성능을 제공합니다.
사양
GB200 NVL72 사양
| GB200 NVL72 | GB200 Grace Blackwell Superchip | |
| 컨피규레이션 | 36 Grace CPU : 72 Blackwell GPUs | 1 Grace CPU : 2 Blackwell GPU |
| FP4 코어1 | 1,440 PFLOPS | 40 PFLOPS |
| FP8/FP6 코어1 | 720 PFLOPS | 20 PFLOPS |
| INT8 Tensor 코어1 | 720 POPS | 20 POPS |
| FP16/BF16 Tensor 코어1 | 360 PFLOPS | 10 PFLOPS |
| TF32 Tensor 코어 | 180 PFLOPS | 5 PFLOPS |
| FP32 | 5,760 TFLOPS | 160 TFLOPS |
| FP64 | 2,880 TFLOPS | 80 TFLOPS |
| FP64 Tensor 코어 | 2,880 TFLOPS | 80 TFLOPS |
| GPU 메모리 대역폭 | 최대 13.4TB HBM3e | 576TB/s | 최대 372GB HBM3e | 16TB/s |
| NVLink 메모리 대역폭 | 130TB/s | 3.6TB/s |
| CPU 코어 수 | 2592 Arm® Neoverse V2 코어 | 72 Arm Neoverse V2 코어 |
| CPU 메모리 대역폭 | 최대 17TB LPDDR5X | 최대 18.4TB/s | 최대 480GB LPDDR5X | 최대 512GB/s |
|
1. 희소성 포함. |
||