생성형 AI 및 HPC를 위한 GPU
NVIDIA H200 Tensor 코어 GPU는 게임의 판도를 바꾸는 성능 및 메모리 기능으로 생성형 AI 및 HPC 워크로드를 강화합니다. HBM3e를 탑재한 최초의 GPU인 H200의 더 크고 빠른 메모리는 HPC 워크로드를 위한 과학 컴퓨팅을 발전시키는 동시에 생성형 AI 및 대규모 언어 모델(LLM)의 가속화를 촉진합니다.
하이라이트
한 차원 높은 성능 경험
LLama2 70B 추론
1.9배 더 빠른 속도
GPT3-175B 추론
1.6배 더 빠른 속도
고성능 컴퓨팅
110배 더 빠른 속도
이점
더 크고 빠른 메모리로 더 향상된 성능
NVIDIA H200은 NVIDIA Hopper 아키텍처를 기반으로 초당 4.8테라바이트(TB/s)의 속도로 141기가바이트(GB)의 HBM3e 메모리를 제공하는 최초의 GPU로, 이는 1.4배 더 많은 메모리 대역폭을 가진 NVIDIA H100 Tensor 코어 GPU의 거의 두 배에 달하는 용량입니다. H200의 더 크고 빠른 메모리는 생성형 AI 및 LLM을 가속화하는 동시에 더 나은 에너지 효율과 낮은 총 소유 비용으로 HPC 워크로드를 위한 과학 컴퓨팅을 발전시킵니다.
예비 사양. 변경될 수 있습니다.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
고성능 LLM 추론으로 인사이트 활용하기
끊임없이 진화하는 AI 환경에서 비즈니스는 LLM에 의존하여 다양한 추론 요구 사항을 해결합니다. AI 추론 가속기는 대규모 사용자 기반용으로 규모별로 배포 시 가장 낮은 TCO로 최고 수준의 처리량을 제공해야 합니다.
H200은 Llama2와 같은 LLM을 처리할 때 H100 GPU에 비해 추론 속도를 최대 2배까지 향상시킵니다.
고성능 컴퓨팅 강화
메모리 대역폭은 데이터 전송 속도를 높이고 복잡한 처리 병목 현상을 줄이므로 고성능 컴퓨팅 애플리케이션에 매우 중요합니다. 시뮬레이션, 과학 연구 및 인공지능과 같은 메모리 집약적인 HPC 애플리케이션의 경우 H200의 더 높은 메모리 대역폭을 사용하면 데이터에 효율적으로 액세스하고 조작할 수 있어 CPU에 비해 결과 도출 시간이 110배 더 빠릅니다.
예비 측정 성능으로 변경될 수 있습니다
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
주요 엔터프라이즈 서버를 위한 AI 가속 극대화
NVIDIA H200 NVL은 유연한 구성이 필요한 저전력 공랭식 엔터프라이즈 랙 설계에 이상적이며, 크기에 관계없이 모든 AI 및 HPC 워크로드에 가속화를 제공합니다. NVIDIA NVLink™로 최대 4개가 연결된 GPU와 1.5배 메모리 증가로 거대 언어 모델(LLM) 추론을 최대 1.7배까지 가속화할 수 있으며, HPC 애플리케이션은 H100 NVL보다 최대 1.3배 더 높은 성능을 제공합니다.
엔터프라이즈 레디: AI 소프트웨어 개발 및 배포 간소화
NVIDIA H200 NVL은 5년 간의 NVIDIA AI Enterprise 구독과 함께 제공되며 엔터프라이즈 AI 지원 플랫폼을 구축하는 방법을 간소화합니다. H200은 컴퓨터 비전, 음성 AI, 검색 증강 생성(RAG) 등을 포함한 생산 준비가 된 생성형 AI 솔루션에 대한 AI 개발 및 배포를 가속화합니다. NVIDIA AI Enterprise는 엔터프라이즈 생성형 AI 배포 속도를 높이기 위해 설계된 사용하기 쉬운 마이크로서비스 세트인 NVIDIA NIM™을 포함하고 있습니다. 배포는 엔터프라이즈급 보안, 관리 가능성, 안정성 및 지원을 함께 제공합니다. 이를 통해 성능에 최적화된 AI 솔루션이 더 빠른 비즈니스 가치와 실행 가능한 통찰력을 제공하게 됩니다.
사양
NVIDIA H200 Tensor 코어 GPU
| 폼 팩터 | H200 SXM¹ | H200 NVL¹ |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor 코어 | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor 코어² | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor 코어² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP16 Tensor 코어² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP8 Tensor 코어² | 3,958 TFLOPS | 3,341 TFLOPS |
| INT8 Tensor 코어² | 3,958 TFLOPS | 3,341 TFLOPS |
| GPU 메모리 | 141GB | 141GB |
| GPU 메모리 대역폭 | 4.8TB/s | 4.8TB/s |
| 디코더 | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| 컨피덴셜 컴퓨팅 | 지원 | 지원됨 |
| 최대 열 설계 전력(TDP) | 최대 700W(구성 가능) | 최대 600W(구성 가능) |
| 멀티 인스턴스 GPU(MIG) | 최대 7개의 MIG, 각각 18GB | 각각 최대 7개의 MIGs @16.5GB |
| 폼 팩터 | SXM | PCIe 듀얼 슬롯(공랭식) |
| 인터커넥트 | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
2방향 또는 4방향 NVIDIA NVLink 브리지: GPU당 900GB/s PCIe Gen5: 128GB/s |
| 서버 옵션 | GPU가 4개 또는 8개인 NVIDIA HGX™ H200 파트너 및 NVIDIA-Certified System™ | NVIDIA MGX™ H200 NVL 파트너 및 최대 8개의 GPU를 갖춘 NVIDIA 인증 시스템 |
| NVIDIA AI Enterprise | 추가 가능 | 포함 항목 |
|
1 예비 사양입니다. 변경될 수 있습니다. |
||
시작하기
이 제품이 출시되면 알려주세요.