探索最新的社群構建 AI 模型,這些模型經由 NVIDIA 最佳化和加速的 API,並可透過 NVIDIA NIM™ 推論微服務隨處部署。
整合
使用常用的 API 快速開始執行。
只需三行程式碼,即可在現有工具和應用程式使用 NVIDIA API。
運用您最愛的大型語言模型 (LLM) 程式設計框架 (包括 LangChain 和 LlamaIndex),將最新人工智慧模型輕鬆整合至您的應用。
打造具影響力的生成式人工智慧應用所需的一切資源。 每份藍圖都包括了 NVIDIA NIM 和合作夥伴微服務、樣本程式碼、自訂指令,以及部署適用的 Helm Chart。
隨處皆可執行
NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分,這套易於使用的微服務可提升基礎模型在任何雲端或資料中心的部署速度,且有助於保障資料安全。
使用單一命令即可為模型部署 NIM。您也能用經微調的模型,輕鬆執行 NIM。
根據 NVIDIA 加速基礎架構,透過最佳執行階段引擎執行 NIM。
開發人員只需編寫幾行程式碼,就能整合自行託管的 NIM 端點。
從單一裝置到資料中心規模,在任何 NVIDIA 加速的基礎架構上,流暢地部署容器化人工智慧微服務。
仰賴生產級執行階段 (包括持續進行的安全性更新),並透過企業級支援的穩定 API 執行企業應用。
在 NVIDIA 加速基礎架構上,有了持續針對低延遲度和高輸送量進行最佳化的人工智慧執行階段,便能降低在生產環境中執行模型的營運成本。
NVIDIA NIM 提供開箱即用的最佳化輸送量和延遲度,實現 Token 生成最大化,支援尖峰時段並行作業的使用者,並提升反應能力。
Configuration: Llama3.1-8B-instruct, 1 x H100SXM; input 1000 tokens, output 1000 tokens. Concurrent requests: 200. NIM ON : FP8. throughput 6,354 tokens/s, TTFT 0.4s, ITL: 31ms. NIM OFF : FP8. throughput 2,265 tokens/s, TTFT 1.1s, ITL: 85ms
客製化
NVIDIA NeMo™ 是一款端對端平台,適用在任何地方開發自訂生成式人工智慧。 其中包括訓練、客製化與檢索增強生成 (RAG)、防護、資料管理與模型預先訓練的工具,為企業提供簡單、符合成本效益且快速的方式來採用生成式人工智慧。
使用案例
瞭解 NVIDIA API 如何支援產業使用案例,並透過精心設計的範例快速開始人工智慧開發。
生態系
加入頂尖合作夥伴的行列,一起使用我們生態系中的模型、工具組、向量資料庫、框架和基礎架構,開發您的人工智慧應用程式。
資源
探索技術文件,以透過 NVIDIA API 開始製作原型和打造企業人工智慧應用,或使用 NVIDIA NIM 擴充自己的基礎架構。