實體人工智慧
NVIDIA Cosmos
利用世界基礎模型加速實體人工智慧開發。
概覽
NVIDIA Cosmos 是什麼？
NVIDIA Cosmos™ 是尖端的生成式世界基礎模型 (WFM)、進階標記化工具、安全防護機制，以及加速資料處理與策劃流程的平台，加速自駕車 (AV) 與機器人等實體人工智慧系統的發展。
模型
NVIDIA Cosmos 世界基礎模型
一系列預先訓練的模型，專為實體人工智慧開發提供具備實體意識的影片與世界狀態。
在這裡深入瞭解模型架構、開發資源與供應情況。
一系列頂尖模型
- 適用於文字轉世界與影片轉世界生成自動迴歸及擴散模型，參數大小介於 40 億至 140 億之間，適合各種需求。總計
- 120 億參數上取樣模型，精準文字提示，在生成輸出中加強精準度與細節。
- 70 億參數模型專為解碼影片序列而設計，並針對擴增實境應用進行最佳化。
內建安全防護機制
- 預先防護以篩選品牌、NSFW 內容與有害提示。
- 事後防範，排除可疑情境。
- 安全防護機制可模糊人臉。
- NVIDIA API 目錄中的 Preview API 生成合成影片的數位浮水印。
基準測試
實體人工智慧效能之旅
NVIDIA 正與機器人技術與自駕車生態系統合作，開發一系列評測基準，反映世界基礎模型實體人工智慧應用的獨特需求。
Cosmos 評測基準旨在評估新一代的世界模型，採用 3D 一致性與實體對齊等先進標準，對於機器人與自主系統至關重要。
相較於適用於影片合成的基本生成式模型 VideoLDM (VLDM) 而言，Cosmos WFM 在幾何精度方面表現出色，Sampson 誤差更低，時間穩定性更佳。 評測基準也根據重力與碰撞動態等實體行為來評估 WFM。
Cosmos WFM 在視覺一致性方面始終優於 VLDM，姿勢估計成功率高達 14 倍。 擴散模型提供開箱即用的高擬真度，而自動迴歸模型則提供出色的客製化模型效能。
使用案例
開發人員如何善用 NVIDIA Cosmos
瞭解機器人技術、自駕車與視覺人工智慧領域的開發人員如何利用 Cosmos 推動工作進展。
-
影片搜尋
-
可操控的 3D 到真實
-
政策模型
-
Foresight
-
多宇宙模擬
影片搜尋
Cosmos 協助開發人員建立量身打造的資料集，用於人工智慧模型訓練。 無論是自駕車的雪地路面影像，還是機器人技術的繁忙倉儲情境，Cosmos 都能透過理解空間與時間模式，簡化影片的標記與搜尋，讓訓練資料的準備變得更加輕鬆。
這樣可節省時間、降低成本，並協助提供與現實世界息息相關且具影響力的人工智慧模型。
生態系
深受頂尖實體人工智慧創新者的青睞
機器人技術、自駕車與視覺人工智慧產業的模型開發人員，正利用 Cosmos 加速實體人工智慧開發。