NVIDIA A2 Tensor 核心 GPU

能將 NVIDIA 人工智慧導入任何伺服器的入門級 GPU。

智慧邊緣的入門級推論

NVIDIA A2 Tensor 核心 GPU 提供入門級推論，且耗能低、使用量小、效能高，可於邊緣端提供 NVIDIA 人工智慧。A2 搭載 PCIe Gen4 短卡和低功耗 40-60W 可設定的散熱設計功耗 (TDP) 功能，可為任何大規模部署的伺服器帶來多功能推論加速。

下載 NVIDIA A2 產品型錄 (538 KB)
下載 NVIDIA A2 產品簡介 (362 KB)

提升最高 20 倍推論效能

部署人工智慧推論可透過智慧的即時體驗改善消費者生活，並從數兆個終端感測器和攝影機中獲得見解。與僅使用 CPU 的伺服器相比，搭載 NVIDIA A2 Tensor 核心 GPU 的邊緣和入門級伺服器可提供高達 20 倍的推論效能，快速升級任何伺服器，以便處理現代人工智慧工作負載。

電腦視覺
(EfficientDet-DO)

自然語言處理 NLP
(BERT-Large)

文字轉語音 TTS
(Tacotron2 + Waveglow)

NVIDIA A2 Tensor Core GPU 和 dual-socket Xeon Gold 6330N CPU 比較

系統設定：[CPU: HPE DL380 Gen10 Plus, 2S Xeon Gold 6330N @2.2GHz, 512GB DDR4]   
NLP: BERT-Large (Sequence length: 384, SQuAD: v1.1)  |  TensorRT 8.2, Precision: INT8, BS:1 (GPU) |  OpenVINO 2021.4, Precision: INT8, BS:1 (CPU)
Text-to-Speech: Tacotron2 + Waveglow end-to-end pipeline (input length: 128)  |  PyTorch 1.9, Precision: FP16, BS:1 (GPU)  |  PyTorch 1.9, Precision: FP32, BS:1 (CPU)
電腦視覺：EfficientDet-D0 (COCO, 512x512)  |  TensorRT 8.2, Precision: INT8, BS:8 (GPU)  |  OpenVINO 2021.4, Precision: INT8, BS:8 (CPU)

提升智慧邊緣的智慧影像分析效能

搭載 NVIDIA A2 GPU 的伺服器在智慧邊緣使用案例 (包括智慧城市、製造業和零售業) 可提供高達 1.3 倍的效能。使用 NVIDIA A2 GPU 加速的伺服器執行智慧影像分析工作負載時，部署效率比前幾代 GPU 更高，每元效能提升高達 1.6 倍，能源效率提高了 10%。

IVA 效能 (正規化)

IVA 效能 (正規化)

系統設定：[Supermicro SYS-1029GQ-TRT、2S Xeon Gold 6240 @2.6GHz、768GB DDR4、1x NVIDIA A2 或 1x NVIDIA T4] | 以 Deepstream 5.1 測量效能。網路：ShuffleNet-v2 (224x224)、MobileNet-v2 (224x224)。| 流程代表影片拍攝和解碼、預先處理、批次處理、推論和後製的 E2E 效能。

針對任何伺服器最佳化

NVIDIA A2 針對受空間和散熱需求限制的入門級伺服器 (5G 邊緣和工業環境) 中的推論工作負載和部署進行了最佳化。A2 提供在低耗能環境中執行的小尺寸規格，從 60W 或低至 40W 的散熱設計功耗皆有，對於任何伺服器都是理想選擇。 

低耗能及可調整的熱設計功耗

低耗能及可調整的熱設計功耗

跨雲端、資料中心和邊緣端領先業界的人工智慧推論效能

人工智慧推論持續在推動跨產業的突破性創新，包括消費者網際網路、醫療照護和生命科學、金融服務、零售、製造和超級運算。將 A2 小尺寸和低功耗的優點與 NVIDIA A100 和 A30 Tensor 核心 GPU 結合，便能跨雲端、資料中心和邊緣端提供完整的人工智慧推論組合。A2 和 NVIDIA 人工智慧推論組合可確保部署人工智慧應用程式時，使用的伺服器較少，且功耗更小，進而以更快的速度、更低的成本獲得見解。

跨雲端、資料中心和邊緣端領先業界的人工智慧推論效能

適用於企業

NVIDIA 人工智慧企業

NVIDIA 人工智慧企業是人工智慧與資料分析軟體的端對端雲端原生套件，經過認證，可在採用 VMware vSphere 的監視器虛擬化基礎架構中的 A2 上執行，因此可以在混合式雲端環境中管理和調整人工智慧和推論工作負載。

深入瞭解 NVIDIA 人工智慧企業 ›

運用 MIG 的 A30 可將 GPU 加速的基礎架構使用率提升到最高。
運用 MIG 的 A30 可將 GPU 加速的基礎架構使用率提升到最高。

主流 NVIDIA 認證系統

搭載 NVIDIA A2 的 NVIDIA 認證系統™ 將運算加速以及快速、安全的 NVIDIA 網路融入 NVIDIA OEM 合作夥伴所打造及銷售的企業級資料中心伺服器。此計畫讓客戶能夠在單一高效能、符合成本效益且可擴充的基礎架構上，從 NVIDIA NGC™ 目錄中找出、取得及部署適用於傳統與多元化現代人工智慧應用程式的系統。

深入瞭解 NVIDIA 認證系統 ›

採用 NVIDIA Ampere 架構

NVIDIA Ampere 架構專為彈性運算時代而設計，提供支援現代企業應用程式所需的效能和加速。深入探索全球效能最強且最有彈性的資料中心。

深入瞭解 NVIDIA Ampere 架構 ›

運用 MIG 的 A30 可將 GPU 加速的基礎架構使用率提升到最高。

技術規格

Peak FP32 4.5 TF
TF32 Tensor Core 9 TF | 18 TF¹
BFLOAT16 Tensor Core 18 TF | 36 TF¹
Peak FP16 Tensor Core 18 TF | 36 TF¹
Peak INT8 Tensor Core 36 TOPS | 72 TOPS¹
Peak INT4 Tensor Core 72 TOPS | 144 TOPS¹
RT Cores 10
Media engines 1 video encoder
2 video decoders (includes AV1 decode)
GPU memory 16GB GDDR6
GPU memory bandwidth 200GB/s
Interconnect PCIe Gen4 x8
Form factor 1-slot, low-profile PCIe
Max thermal design power (TDP) 40–60W (configurable)
Virtual GPU (vGPU) software support² NVIDIA Virtual PC (vPC), NVIDIA Virtual Applications (vApps), NVIDIA RTX Virtual Workstation (vWS), NVIDIA AI Enterprise, NVIDIA Virtual Compute Server (vCS)

1 具有稀疏性
2 支援未來 vGPU 版本

深入探索 NVIDIA Ampere 架構

探索 NVIDIA Ampere 架構的尖端技術。

深入瞭解
產品
技術
軟體
資源