NVIDIA A100 Tensor  核心 GPU

隨著人工智慧模型處理更高一級的挑戰 (如對話式人工智慧)，其複雜度也急遽增長。訓練模型需要極強大的運算和擴充能力。

若使用精度為 Tensor Float (TF32) 的 NVIDIA A100 Tensor 核心，可在完全不變更程式碼的情況下，提供比 NVIDIA Volta 高 20 倍的效能，若使用自動混合精度和 FP16，還可進一步提高 2 倍。與 NVIDIA^® NVLink^®、NVIDIA NVSwitch^™、第四代 PCI、NVIDIA^® InfiniBand^® 和 NVIDIA Magnum IO^™ SDK 搭配使用時，還可以擴充到使用數千個 A100 GPU。

像是 BERT 這類的訓練工作負載，可在一分鐘內以 2,048 個 A100 GPU 大規模處理，創下全球獲得解決方案的最短時間記錄。

對於具有大型資料表格的最大模型，如用於推薦系統的深度學習建議模型 (DLRM)，A100 80 GB 每個節點最多可達到 1.3 TB 的整合記憶體，並提供比 A100 40 GB 多達 3 倍的輸送量。

MLPerf 在人工智慧訓練業界級的基準測試中，創下多項效能記錄，完整體現 NVIDIA 的業界領先地位。

Quantum Espresso

資料科學家要能夠分析、視覺化，並將龐大資料集轉換成深入分析。但是，由於這些資料集分散在多個伺服器上，經常無法實行擴充解決方案。

使用 A100 的加速伺服器可提供處理這些工作負載所需的運算能力，包含每秒超過 2 TB (TB/秒) 的記憶體頻寬以及 NVIDIA^® NVLink^® 和 NVSwitch^™ 的擴充能力。NVIDIA 資料中心平台結合了 InfiniBand、NVIDIA Magnum IO^™ 以及 RAPIDS^™ 開放原始碼函式庫套件，包括用於獲得 GPU 加速的資料分析，適用於 Apache Spark 的 RAPIDS 加速器，能夠以前所未有的效能與效率，加速這些龐大的工作負載。

在巨量資料分析基準測試中，A100 80 GB 比起 A100 40 GB 提供了高出 2 倍的深入分析，因此非常適合資料集急遽成長的新興工作負載。

運用 MIG 的 A100 可將 GPU 加速的基礎架構使用率提升到最高。MIG 可將 A100 GPU 安全地分割成多達 7 個獨立的執行個體，讓多名使用者存取 GPU 加速功能。A100 40 GB 可讓每個 MIG 執行個體分配到多達 5 GB，而 A100 80 GB 因為記憶體容量增加，分配大小可加倍至 10 GB。

MIG 能與 Kubernetes、容器和以監視器為基礎的伺服器虛擬化搭配使用。MIG 讓基礎架構管理員能為每項作業提供適當規模的 GPU 及服務品質保障 (QoS)，將加速運算資源的範圍延伸至每位使用者。