簡介
針對每個人工智慧工作負載進行推論
透過 NVIDIA Triton™ 推論伺服器，在任何處理器 (GPU、CPU 或其他) 上的任何框架，在經過訓練的機器學習或深度學習模型上進行推論。Triton 推論伺服器是一款開放原始碼軟體，可標準化每個工作負載的人工智慧模型部署和執行。它是 NVIDIA 人工智慧平台的一部分，可透過 NVIDIA AI Enterprise 提供。
功能
探索 NVIDIA Triton 推論伺服器的功能與工具
NVIDIA Triton Model Analyzer
Model Analyzer 可縮短找到最佳模型部署配置所需的時間，例如批次大小、精準度和並行執行個體。這有助於選擇最佳配置，以符合應用程式在延遲、傳輸量和記憶體上的需求。
優勢
Triton 推論伺服器的優勢
支援所有訓練和推論框架
透過 Triton 推論伺服器，在任何主要架構部署人工智慧模型，包括 TensorFlow、PyTorch、Python、ONNX、NVIDIA® TensorRT™、RAPIDS™ cuML、XGBoost、scikit-learn RandomForest、OpenVINO、客製化 C++ 等。
在任何平台進行高效能推論
透過動態批次處理、並行執行、最佳配置以及串流音訊和影片，將傳輸量和使用率最大化。Triton 推論伺服器支援所有 NVIDIA GPU、x86、Arm CPU 和 AWS Inferentia。
開放原始碼且專為 DevOps 和 MLOps 設計
將 Triton 推論伺服器整合到 DevOps 和 MLOps 解決方案，例如適用於擴充的 Kubernetes 和適用於監控的 Prometheus。也可用於所有主要的雲端和本機人工智慧和 MLOps 平台。
企業級安全性、管理能力和 API 穩定性
NVIDIA AI Enterprise (包括 NVIDIA Triton 推論伺服器) 是一款安全、可用於實際部署環境的人工智慧軟體平台，旨在透過支援、安全性和 API 穩定性加速實現價值。
開始選項
開始使用 NVIDIA Triton
使用正確的工具與技術，實現 AI 在任何平台上的部署、運行和擴展，以滿足各種應用需求。
使用案例
Triton 的使用方式
瞭解產業領導者如何利用 Triton 推論伺服器推動創新。
-
使用案例 1
-
使用案例 2
-
使用案例 3
-
使用案例 4
統一推論伺服器
Triton 推論伺服器可支援組織將特定框架的推論伺服器整合到統一的平台中。但它並不是為每個人工智慧框架部署及管理獨立的伺服器，而是充當單一的統一伺服器，藉此降低推論服務成本。Triton 推論伺服器支援所有主要的人工智慧框架，包括 PyTorch、TensorFlow、TensorRT-LLM、VLLM、TensorRT、ONNX 與 OpenVINO。
客戶案例
瞭解產業領導者如何利用 Triton 加強模型部署
採用者
各行各業的頂尖採用者
-
客戶
-
生態系統整合
資源
NVIDIA Triton 相關資源的最新消息
-
部落格
-
教學課程
-
訓練
-
影片
-
客戶案例
-
社群
下一步
準備好開始了嗎？
利用正確的工具與技術，建立及部署可完全客製化、多語言、語音和翻譯人工智慧應用程式。
開發人員專用
探索著手開發 NVIDIA Riva 所需的一切，包括最新文件、教學課程與技術部落格等。
與我們聯絡
請與 NVIDIA 產品專家討論，瞭解如何利用 NVIDIA AI Enterprise 的安全性、API 穩定性與支援，讓產品從試產階段順利進入部署環境。