NVIDIA GB200 NVL72
생성형 AI의 새로운 시대를 지원합니다.
실시간 1조 개 매개 변수 모델 활용
GB200 NVL72는 36개의 Grace CPU와 72개의 Blackwell GPU를 랙 스케일 디자인으로 연결합니다. GB200 NVL72는 수냉식 랙 스케일 솔루션으로, 단일 대규모 GPU처럼 작동하는 72-GPU NV링크 도메인을 자랑하며 1조 개 파라미터 LLM 추론을 위해 30배 빠른 실시간 성능을 제공합니다.
GB200 Grace Blackwell 슈퍼칩은 NVIDIA GB200 NVL72의 핵심 구성 요소로, 두 개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 NVIDIA® NVLink®-C2C 인터커넥트를 사용하여 두 개의 Blackwell GPU에 NVIDIA Grace CPU를 연결합니다.
하이라이트
차세대 AI 및 가속 컴퓨팅 강화
LLM 추론 및 에너지 효율성: TTL = 50밀리초(ms) 실시간, FTL = 5초, 32,768 입력/1,024 출력, NVIDIA HGX™ H100 스케일 오버 InfiniBand(IB) 대 GB200 NVL72, 훈련 1.8T MOE 4096x HGX H100 스케일 오버 IB 대 456x GB200 NVL72 스케일 오버 IB. 클러스터 크기: 32,768
TPC-H Q4 쿼리에서 파생된 스내피/디플레이트 압축을 사용한 데이터베이스 병합 및 집계 워크로드. x86, H100 단일 GPU 및 GB200 NLV72의 단일 GPU와 Intel Xeon 8480+에 대한 사용자 맞춤형 쿼리 구현 비교
예상 성능은 변경될 수 있습니다.
특징
기술 혁신
사양
GB200 NVL721 사양
| GB200 NVL72 | GB200 Grace Blackwell Superchip | |
| 컨피규레이션 | 36 Grace CPU : 72 Blackwell GPUs | 1 Grace CPU : 2 Blackwell GPU |
| FP4 코어2 | 1,440 PFLOPS | 40 PFLOPS |
| FP8/FP6 코어2 | 720 PFLOPS | 20 PFLOPS |
| INT8 Tensor 코어2 | 720 POPS | 20 POPS |
| FP16/BF16 Tensor 코어2 | 360 PFLOPS | 10 PFLOPS |
| TF32 Tensor 코어 | 180 PFLOPS | 5 PFLOPS |
| FP32 | 6,480 TFLOPS | 180 TFLOPS |
| FP64 | 3,240 TFLOPS | 90 TFLOPS |
| FP64 Tensor 코어 | 3,240 TFLOPS | 90 TFLOPS |
| GPU 메모리 대역폭 | 최대 13.5TB HBM3e | 576TB/s | 최대 384GB HBM3e | 16TB/s |
| NVLink 메모리 대역폭 | 130TB/s | 3.6TB/s |
| CPU 코어 수 | 2592 Arm® Neoverse V2 코어 | 72 Arm Neoverse V2 코어 |
| CPU 메모리 대역폭 | 최대 17TB LPDDR5X | 최대 18.4TB/s | 최대 480GB LPDDR5X | 최대 512GB/s |
|
1. 예상 성능은 변경될 수 있습니다. |
||
시작하기
뉴스레터 구독하기
등록하고 NVIDIA Blackwell 출시 시기를 알아보세요.