NVIDIA Grace Blackwell GB200

NVIDIA GB200 NVL72

생성형 AI의 새로운 시대를 지원합니다.

실시간 1조 개 매개 변수 모델 활용

GB200 NVL72는 36개의 Grace CPU와 72개의 Blackwell GPU를 랙 스케일 디자인으로 연결합니다. GB200 NVL72는 수냉식 랙 스케일 솔루션으로, 단일 대규모 GPU처럼 작동하는 72-GPU NV링크 도메인을 자랑하며 1조 개 파라미터 LLM 추론을 위해 30배 빠른 실시간 성능을 제공합니다.

GB200 Grace Blackwell 슈퍼칩은 NVIDIA GB200 NVL72의 핵심 구성 요소로, 두 개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 NVIDIA® NVLink®-C2C 인터커넥트를 사용하여 두 개의 Blackwell GPU에 NVIDIA Grace CPU를 연결합니다.

실시간 1조 매개 변수 추론 및 훈련을 위한 Blackwell 랙 스케일 아키텍처

NVIDIA GB200 NVL72는 단일 랙의 엑사스케일 컴퓨터입니다. 역대 최대 규모의 NVIDIA® NVLink® 도메인으로 상호 연결된 36개의 GB200을 갖춘 NVLink 스위치 시스템은 AI 및 고성능 컴퓨팅(HPC) 워크로드를 위해 초당 130테라바이트(TB/s)의 낮은 레이턴시 GPU 통신을 제공합니다.

하이라이트

차세대 AI 및 가속 컴퓨팅 강화

LLM 추론

30배

LLM 훈련

4배

높은 에너지 효율

25배

데이터 처리

18배

LLM 추론 및 에너지 효율성: TTL = 50밀리초(ms) 실시간, FTL = 5초, 32,768 입력/1,024 출력, NVIDIA HGX™ H100 스케일 오버 InfiniBand(IB) 대 GB200 NVL72, 훈련 1.8T MOE 4096x HGX H100 스케일 오버 IB 대 456x GB200 NVL72 스케일 오버 IB. 클러스터 크기: 32,768
TPC-H Q4 쿼리에서 파생된 스내피/디플레이트 압축을 사용한 데이터베이스 병합 및 집계 워크로드. x86, H100 단일 GPU 및 GB200 NLV72의 단일 GPU와 Intel Xeon 8480+에 대한 사용자 맞춤형 쿼리 구현 비교
예상 성능은 변경될 수 있습니다.

실시간 LLM 추론

GB200 NVL72는 최첨단 기능과 2세대 Transformer Engine을 도입하여 FP4 AI를 구현하고 5세대 NVIDIA NVLink와 결합하면 1조 개 매개변수 언어 모델에 대해 30배 빠른 실시간 LLM 추론 성능을 제공합니다. 이러한 발전은 새로운 마이크로 스케일링 형식을 도입하여 높은 정확도와 더 많은 처리량을 제공하는 차세대 Tensor 코어를 통해 가능해졌습니다. 또한 GB200 NVL72는 NV링크와 액체 냉각을 사용하여 통신 병목 현상을 극복할 수 있는 단일 대규모 72-GPU 랙을 생성합니다.

대규모 훈련

GB200에는 FP8 정밀도를 갖춘 더 빠른 2세대 Transformer 엔진이 포함되어 있어 대규모 거대 언어 모델을 4배 더 빠르게 훈련할 수 있습니다. 이러한 혁신은 초당 1.8테라바이트(TB/s)의 GPU 간 인터커넥트, InfiniBand 네트워킹, NVIDIA Magnum IO™ 소프트웨어를 제공하는 5세대 NVLink를 통해 보완됩니다.

에너지 효율적인 인프라

수냉식 GB200 NVL72 랙은 데이터센터의 탄소 발자국과 에너지 소비를 줄여줍니다. 수냉식 냉각은 컴퓨팅 밀도를 높이고, 상면 사용 공간을 줄이며, 대규모 NVLink 도메인 아키텍처와의 고대역폭, 저지연 GPU 통신을 용이하게 합니다. NVIDIA H100 공랭식 인프라에 비해 GB200은 동일한 전력으로 25배 더 높은 성능을 제공하면서 물 소비는 줄입니다.

데이터 처리

데이터베이스는 기업의 대용량 데이터 처리, 처리 및 분석에서 중요한 역할을 합니다. GB200은 고대역폭 메모리 성능의 NVLink-C2CNVIDIA Blackwell 아키텍처의 전용 압축 해제 엔진을 활용하여 주요 데이터베이스 쿼리 속도를 CPU 대비 18배 향상시키고 TCO를 5배 절감합니다.

특징

기술 혁신

Blackwell 아키텍처

NVIDIA Blackwell 아키텍처는 가속 컴퓨팅의 획기적인 발전을 제공하여 탁월한 성능, 효율성 및 확장성으로 컴퓨팅의 새로운 시대를 열어갑니다.

NVIDIA Grace CPU

NVIDIA Grace CPU 은 AI, 클라우드, HPC(고성능 컴퓨팅) 애플리케이션을 실행하는 최신 데이터센터를 위해 설계된 획기적인 프로세서입니다. 현재 최고의 서버 프로세서 대비 2배의 에너지 효율로 뛰어난 성능과 메모리 대역폭을 제공합니다.

5세대 NVIDIA NVLink

엑사스케일 컴퓨팅과 매개 변수가 조 단위인 AI 모델의 잠재력을 최대한 활용하려면 서버 클러스터의 GPU 간에 빠르고 원활한 통신이 필요합니다. 5세대 NVLink는 조 단위 및 수조 단위 매개 변수의 AI 모델 성능을 가속하는 스케일업 상호 연결 기술입니다.

NVIDIA 네트워킹

데이터센터의 네트워크는 분산된 AI 모델 훈련 및 생성형 AI 성능의 중추 역할을 하며 AI의 발전과 성능을 주도하는 데 중요한 역할을 합니다. NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum-X800 이더넷 및 NVIDIA BlueField-3 DPU는 최적의 애플리케이션 성능을 위해 수백수천 개의 Blackwell GPU에서 효율적인 확장성을 지원합니다.

사양

GB200 NVL721 사양

  GB200 NVL72 GB200 Grace Blackwell Superchip
컨피규레이션 36 Grace CPU : 72 Blackwell GPUs 1 Grace CPU : 2 Blackwell GPU
FP4 코어2 1,440 PFLOPS 40 PFLOPS
FP8/FP6 코어2 720 PFLOPS 20 PFLOPS
INT8 Tensor 코어2 720 POPS 20 POPS
FP16/BF16 Tensor 코어2 360 PFLOPS 10 PFLOPS
TF32 Tensor 코어 180 PFLOPS 5 PFLOPS
FP32 6,480 TFLOPS 180 TFLOPS
FP64 3,240 TFLOPS 90 TFLOPS
FP64 Tensor 코어 3,240 TFLOPS 90 TFLOPS
GPU 메모리 대역폭 최대 13.5TB HBM3e | 576TB/s 최대 384GB HBM3e | 16TB/s
NVLink 메모리 대역폭 130TB/s 3.6TB/s
CPU 코어 수 2592 Arm® Neoverse V2 코어 72 Arm Neoverse V2 코어
CPU 메모리 대역폭 최대 17TB LPDDR5X | 최대 18.4TB/s 최대 480GB LPDDR5X | 최대 512GB/s

시작하기

뉴스레터 구독하기

등록하고 NVIDIA Blackwell 출시 시기를 알아보세요.