NVIDIA H200 Tensor 코어 GPU

예비 사양. 변경될 수 있습니다.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.

끊임없이 진화하는 AI 환경에서 비즈니스는 LLM에 의존하여 다양한 추론 요구 사항을 해결합니다. AI 추론 가속기는 대규모 사용자 기반용으로 규모별로 배포 시 가장 낮은 TCO로 최고 수준의 처리량을 제공해야 합니다.

H200은 Llama2와 같은 LLM을 처리할 때 H100 GPU에 비해 추론 속도를 최대 2배까지 향상시킵니다.

예비 측정 성능으로 변경될 수 있습니다
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32

H200의 도입으로 에너지 효율성 및 TCO가 새로운 수준에 도달했습니다. 이러한 최첨단 기술은 H100 Tensor 코어 GPU와 동일한 전력 프로파일 내에서 비교할 수 없는 성능을 제공합니다. 더 빠를 뿐만 아니라 더욱 친환경적인 AI 공장과 슈퍼컴퓨팅 시스템은 AI 및 과학 커뮤니티를 발전시키는 경제적 우위를 제공합니다.