強化學習

運用機器人學習技術,開發出適應性強、高效率的機器人應用。

Nissan

Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree

工作負載

機器人技術

應用

所有產業

業務目標

創新

產品

NVIDIA Omniverse
NVIDIA Omniverse Enterprise
NVIDIA AI Enterprise

使用強化學習賦予物理機器人複雜的技能

隨著機器人承擔越來越多複雜的任務,傳統的程式設計方法能力已不堪負荷。強化學習 (Reinforcement learning, RL) 是一種機器學習技術,可透過對機器人行為進行程式設計,來解決這項挑戰。透過在模擬情境中進行強化學習,機器人可在任何虛擬環境中透過試錯方式訓練,強化在控制、路徑規劃、操控等領域的技能。

強化學習模型會因完成要求的動作而獲得獎勵,因此會不斷調整和改進。這有助於機器人培養出複雜的粗大和精細動作技能,用於執行實際的自動化工作,例如抓取新物體、使用四肢行走以及學習複雜的操作技能。

強化學習技術會不斷發展根據獎勵執行的控制原則,並分析機器人行為,協助機器人適應各種新狀況和無法預料的挑戰,讓機器人能更適應實際任務。

GPU 加速機器人強化學習訓練

傳統上透過 CPU 對機器人進行強化訓練的成本十分高昂,通常需要運用到數千個核心來處理這項複雜任務,導致機器人應用程式必須需投入更高的成本。NVIDIA GPU 運用其平行處理能力,可完美解決這項挑戰,大幅加速感知強化學習環境中感知資料的處理速度。這顯著增強了機器人在動態環境中學習、適應和執行複雜任務的能力。

NVIDIA 的運算平台 (包括 Isaac Lab 等工具) 可利用 GPU 的強大效能,在強化學習流程中處理物理模擬與獎勵計算。可消除瓶頸、簡化流程,並協助讓模型順利從模擬轉移至實際部署。

用於強化學習的 Isaac Lab

NVIDIA Isaac™ Lab 是一個基於 NVIDIA Isaac Sim™ 建構的模組化框架,可簡化強化和模仿學習等機器人訓練工作流程。開發人員能夠利用最新的 Omniverse™ 功能來訓練啟用感知的複雜策略。

  • 組合場景:第一步是在 Isaac Lab 中建立場景,並使用 URDF 或 MJCF 匯入機器人素材。將物理架構應用於模擬中,並整合感測器,以圖像識別為原則進行培訓。
  • 定義強化學習任務:設定場景和機器人後,下一步是定義代理人要執行的強化任務。環境 (例如,以管理員為原則,或直接工作流程) 會提供代理人目前的狀態或觀察結果,並執行其提出的行動。接著,環境會回傳下一個狀態來回應代理人。
  • 訓練:最後一步是定義訓練超參數和原則架構。Isaac Lab 提供四個強化學習函式庫,可搭配 GPU 來訓練模型,包括 StableBaselines3RSL-RLRL-GamesSKRL
  • 擴充:為了在多 GPU 和多節點系統上擴充訓練內容,開發人員可以使用 OSMO 在分散式基礎架構中協調多節點訓練作業。

Project GR00T 提供開發人員專門開發人形機器人的新方法。GR00T 是一種通用的基礎模型,可以幫助機器人理解語言、模擬人類動作,並透過多模態學習來快速掌握技能。若要深入瞭解並使用 GR00T,請報名參加 NVIDIA 人形機器人開發人員計畫。

合作夥伴生態系統

瞭解我們的生態系統如何根據強化學習和 NVIDIA 技術建造自己的機器人應用和服務。

立即開始

現今的研究人員和開發人員廣泛採用機器人的強化學習技術。立即深入瞭解專為機器人學習打造的 NVIDIA Isaac Lab。

最新消息