NVIDIA DGX B200
AI Center of Excellence의 기반입니다.
진화하는 혁신으로 뒷받침되는 획기적인 효율성
NVIDIA DGX™ B200은 AI 여정의 모든 단계에서 모든 규모의 기업을 위한 개발-배포 파이프라인을 위한 통합 AI 플랫폼입니다. 5세대 NVIDIA® NVLink®로 상호 연결된 8개의 NVIDIA Blackwell GPU가 탑재된 DGX B200은 이전 세대 대비 3배의 트레이닝 성능과 15배의 추론 성능을 제공하는 최첨단 성능을 제공합니다. NVIDIA Blackwell GPU 아키텍처를 활용하는 DGX B200은 거대 언어 모델, 추천 시스템, 챗봇 등 다양한 워크로드를 처리할 수 있어 AI 혁신을 가속화하려는 기업에게 이상적입니다.
이점
통합 AI 플랫폼
성능
DGX B200 기반의 차세대 성능
실시간 거대 언어 모델 추론
예상 성능은 변경될 수 있습니다. 토큰 간 지연 시간(TTL) = 실시간 50ms, 첫 토큰 지연 시간(FTL) = 5초, 입력 시퀀스 길이 = 32,768, 출력 시퀀스 길이 = 1,028, 8x 8방향 DGX H100 GPU 공냉식 대 1x 8방향 DGX B200 공냉식, GPU당 성능 비교입니다.
초고속 AI 학습 성능
예상 성능은 변경될 수 있습니다. 32,768개의 GPU 규모, 4,096배 8방향 DGX H100 공랭식 클러스터: 400G IB 네트워크, 4,096x 8방향 DGX B200 공랭식 클러스터: 400G IB 네트워크.
사양
NVIDIA DGX B200 사양
| GPU | 8x NVIDIA Blackwell GPU |
| GPU 메모리 | 총 1,440GB의 GPU 메모리 |
| 성능 | 72페타플롭스 훈련 및 144페타플롭스 추론 |
| 소비 전력 | 최대 14.3kW |
| CPU | Intel® Xeon® Platinum 8570 프로세서 2개 총 112개 코어, 2.1GHz(기본), 4GHz(최대 부스트) |
| 시스템 메모리 | 최대 4TB |
| 네트워킹 | 싱글 포트 NVIDIA ConnectX-7 VPI 8개를 제공하는 OSFP 포트 4개
|
| 관리 네트워크 | 10Gb/s 온보드 NIC(RJ45 포함) 100Gb/s 듀얼 포트 이더넷 NIC RJ45가 포함된 호스트 베이스보드 관리 컨트롤러(BMC) |
| 스토리지 | OS: 2x 1.9TB NVMe M.2 내부 스토리지: 8x 3.84TB NVMe U.2 |
| 소프트웨어 | NVIDIA AI Enterprise: 최적화된 AI 소프트웨어 NVIDIA Base Command™: 오케스트레이션, 스케줄링 및 클러스터 관리 DGX OS / Ubuntu: 운영 체제 |
| 랙 장치(RU) | 10 RU |
| 시스템 크기 | 높이: 444mm(17.5인치) 너비: 482.2mm(19.0인치) 길이: 897.1mm(35.3인치) |
| 작동 온도 | 5~30°C(41~86°F) |
| 엔터프라이즈 지원 | 하드웨어 및 소프트웨어에 대한 3년 엔터프라이즈 비즈니스 표준 지원 연중무휴 엔터프라이즈 지원 포털 액세스 현지 업무 시간 동안의 실시간 에이전트 지원 |
리소스
모든 엔터프라이즈에 슈퍼컴퓨팅 제공
NVIDIA DGX SuperPOD
선도적인 기업들은 DGX B200이 포함된 NVIDIA DGX SuperPOD™를 통해 NVIDIA의 AI 전문성이 뒷받침되는 대규모 턴키 인프라를 구축할 수 있습니다.
DGX 플랫폼의 가치 극대화
NVIDIA 엔터프라이즈 서비스는 DGX 인프라에 대한 지원, 교육 및 전문 서비스를 제공합니다. AI 여정의 모든 단계에서 NVIDIA 전문가들이 함께하는 엔터프라이즈 서비스는 프로젝트를 빠르고 성공적으로 시작하고 실행하도록 지원합니다.
DGX 고객 전용 교육 혜택 받기
AI로 더 빠르게 최첨단 혁신을 달성하는 방법과 NVIDIA DLI(Deep Learning Institute)의 AI 전문가가 DGX 고객에게 특별히 제공하는 특별 기술 교육에 대해 알아보세요.
시작하기