NVIDIA H200 Tensor 核心 GPU

初步規格，可能變更。.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.

在人工智慧不斷演進的狀況下，企業仰賴 LLM 來因應各種推論需求。為龐大的使用者大規模部署人工智慧推論加速器時，必須運用最低的整體擁有成本達到最高的吞吐量。

與 H100 GPU 相比，H200 在處理類似 Llama2 的 LLM 時，可將推論速度大幅提升到最高 2 倍。

此為初步測得的效能，後續可能有更新資訊
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32

隨著 H200 的推出，能源效率和整體擁有成本將達到全新境界。這項尖端技術可提供無與倫比的效能，並且與 H100 Tensor 核心 GPU 使用相同的功耗設定。人工智慧工廠和超級運算系統不僅速度更快也更環保，所具備的經濟優勢可推動人工智慧和科學界持續進步。