機器人模擬

NVIDIA Isaac Sim™ 是一款透過 NVIDIA Omniverse™ 組建的參考應用程式，可全程在模擬環境打造、訓練、測試、驗證人工智慧機器人，例如人形機器人、自主移動機器人 (AMR)、機械手臂等。

1. 匯入素材：使用 3D CAD 或 DCC 軟體工具組建的現有素材，但請先轉換為通用場景描述 (OpenUSD)
，才能在 Isaac Sim 使用這些素材。
2. 建立環境
：匯入相關素材後，請建立虛擬環境 (例如倉庫或工廠)。目標是盡量準確呈現實際的空間，包括顏色、紋理和光線。
3. 新增機器人：設定場景後，請從通用機器人描述格式 (URDF) 匯入機器人模型。URDF 內建視覺網格和原始層次結構，及資訊衝突網格、關節和感應器。
4. 新增實體和感應器：若要實際應用時能正確互動，請將實體屬性指派給機器人。NVIDIA® PhysX® 實體引擎實現符合剛體和可變形物體的物理模擬與關節，所以機器人可以掌握所處環境的運動學。此外，請加入視覺 (例如相機) 與非視覺 (光學雷達、雷達、IMU 等)，才能拍攝機器人行為。
5. 互動：流程最後的步驟是在各種時空環境模擬機器人行為。

模擬可利用合成資料生成 (SDG) 技術，啟動基礎模型訓練，或加快預先訓練人工智慧模型的微調流程，繼而推出最新的使用案例。模擬可透過視覺和非視覺光譜構成文字、2D 或 3D 影像，甚至搭配使用實際資料與動作資料，作為訓練多型態實體人工智慧模型的訓練。

領域隨機化是 SDG 工作流程重要的步驟，情境有很多參數可變更產生各種資料集，例如位置、顏色、紋理、物件光影。後製階段的增強會增加局部模糊、像素化、隨機裁切、偏移和混合等效果，進一步讓生成資料多樣化。

此外，生成的影像會自動標注，並可加入 RGB、邊界框、實例與語義分割、深度、深度點雲 (depth point cloud)、光學雷達點雲等。

機器人學習是確保機器人可實際重複高效執行技能的關鍵。高擬真模擬提供機器人虛擬訓練場，藉由模擬反覆試驗修正技能，確保機器人學習模擬時的行為，方便實際應用。

NVIDIA Isaac™ Lab 是透過 NVIDIA Isaac Sim 設計的開源、整合、模組化機器人學習架構，可簡化機器人學習常見的工作流程，例如強化學習、學習示範、動作規劃。

軟體迴圈 (Software-in-the-loop, SIL) 是開發實體人工智慧機器人系統軟體的重要測試與驗證階段。在 SIL 中，機器人控制軟體是在模擬環境中進行測試，而非在實際硬體上執行。

SIL 結合模擬可確保準確建立實際的實體模型，包括感應器資料、致動器動力學和環境互動。這麼做可確保模擬與實體機器人的機器人軟體堆疊行為一致，提升測試結果的有效性。

合成資料生成、機器人學習與機器人測試是息息相關的工作流程，所以在異構基礎結構調度時須謹慎。另外，機器人工作流程需要方便開發人員使用的規範，移除複雜的基礎結構設定、方便追蹤資料與模型版本，且可安全部署相關工作負載。

NVIDIA OSMO 提供雲端原生協調平台，協助您在本機、私人與公用雲端擴充複雜、多階段、多容器的機器人工作負載。