デンバー—SIGGRAPH —2024年7月29日 — NVIDIA は本日、世界規模でのヒューマノイド開発を加速するために、次世代のヒューマノイド ロボティクスの開発、トレーニング、構築のための一連のサービス、モデル、コンピューティング プラットフォームを世界の大手ロボット メーカー、AI モデル開発者、ソフトウェア メーカーに提供することを発表しました。
ロボットのシミュレーションと学習のための新しい NVIDIA NIM™ マイクロサービスとフレームワーク、マルチステージのロボティクス ワークロードを実行するための NVIDIA OSMO オーケストレーション サービス、開発者が少量の人間のデモンストレーション データを使用してロボットをトレーニングできる AI とシミュレーション対応の遠隔操作ワークフローなどが提供されます。
NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) は次のように述べています。「AI の次の波はロボティクスであり、最もエキサイティングな開発の 1 つはヒューマノイド ロボットです。NVIDIA は、NVIDIA ロボティクス スタック全体を進化させ、世界中のヒューマノイド開発者や企業がニーズに最適なプラットフォーム、アクセラレーション ライブラリ、AI モデルを利用できるようにしています」
NVIDIA NIM と OSMO による開発の加速
NIM マイクロサービスは、NVIDIA 推論ソフトウェアを搭載した事前構築済みのコンテナーを提供し、開発者は展開に要する時間を数週間から数分に短縮できます。2 つの新しい AI マイクロサービスにより、ロボット開発者は、NVIDIA Omniverse™ プラットフォーム上に構築されたロボティクス シミュレーションのリファレンス アプリケーションである NVIDIA Isaac Sim™ で、生成物理 AI のシミュレーション ワークフローを強化できます。
MimicGen NIM は、Apple Vision Pro などの空間コンピューティング デバイスから記録された遠隔操作データに基づいて合成モーション データを生成します。Robocasa NIM は、OpenUSD でロボット タスクとシミュレーション対応環境を生成します。OpenUSD は、3D ワールド内での開発とコラボレーションのためのユニバーサル フレームワークです。
提供が開始された NVIDIA OSMO は、オンプレミスでもクラウドでも、分散コンピューティング リソース全体で複雑なロボット開発ワークフローをオーケストレーションおよび拡張できるクラウド ネイティブなマネージド サービスです。
OSMO はロボットのトレーニングとシミュレーションのワークフローを大幅に簡素化し、展開と開発のサイクルを数か月から 1 週間未満に短縮します。ユーザーは、ヒューマノイド、自律移動ロボット、産業用マニピュレーターの合成データの生成、モデルのトレーニング、強化学習の実施、大規模なソフトウェアインザループ (SIL) テストの実装など、さまざまなタスクを可視化して管理できます。
ヒューマノイド ロボット開発者向けのデータ キャプチャ ワークフローの進化
ヒューマノイド ロボットの基盤モデルをトレーニングするには、膨大な量のデータが必要です。人間のデモンストレーション データをキャプチャする方法の 1 つは遠隔操作を使用することですが、これはますますコストがかかり、時間のかかるプロセスになりつつあります。
SIGGRAPH コンピューター グラフィックス カンファレンスでデモされた NVIDIA AI および Omniverse 対応の遠隔操作リファレンス ワークフローにより、研究者や AI 開発者は、リモートでキャプチャされた最小限の人間のデモンストレーションから、大量の合成モーションおよび知覚データを生成できます。
まず、開発者は Apple Vision Pro を使用して、少数の遠隔操作デモンストレーションをキャプチャします。次に、NVIDIA Isaac Sim で記録をシミュレーションし、MimicGen NIM を使用して記録から合成データセットを生成します。
開発者は、実際のデータと合成データを使用して Project GR00T ヒューマノイド基盤モデルをトレーニングし、開発者が時間を短縮してコストを削減することができるようにします。次に、ロボット学習フレームワークである Isaac Lab の Robocasa NIM を使用して、ロボット モデルを再学習するためのエクスペリエンスを生成します。ワークフロー全体を通じて、NVIDIA OSMO はコンピューティング ジョブをさまざまなリソースにシームレスに割り当てるため、開発者は数週間に及ぶ管理タスクを省くことができます。
汎用ロボット プラットフォーム企業である Fourier は、シミュレーション テクノロジを使用して学習 データを合成的に生成することの利点を評価しています。
Fourier の CEO である Alex Gu 氏は次のように話しました。「ヒューマノイド ロボットの開発は極めて複雑で、現実世界から手間暇かけて収集した膨大な量の実際のデータが必要です。NVIDIA の新しいシミュレーションおよび生成 AI 開発者ツールは、モデル開発ワークフローの立ち上げと加速に役立ちます」
NVIDIA ヒューマノイド開発者向けテクノロジへのアクセスの拡大
NVIDIA は、ヒューマノイド ロボティクスの開発を容易にするために、3 つのコンピューティング プラットフォームを提供しています。モデルをトレーニングするための NVIDIA AI スーパーコンピューター、ロボットがシミュレートされた世界でスキルを学習して磨くことができる Omniverse 上に構築された NVIDIA Isaac Sim、およびモデルを実行するための NVIDIA Jetson™ Thor ヒューマノイド ロボット コンピューターです。開発者は、特定のニーズに合わせて、プラットフォームのすべて (または一部) にアクセスし、使用できます。
新しい NVIDIA Humanoid Robot Developer Program を通じて、開発者は新しい製品や、NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor、Project GR00T 汎用ヒューマノイド基盤モデルの最新リリースに早期アクセスできます。
1x、Boston Dynamics、ByteDance Research、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra、Skild AI などが、早期アクセス プログラムに最初に参加する企業です。
Boston Dynamics の最高技術責任者である Aaron Saunders 氏は次のように話しました。「Boston Dynamics と NVIDIA は、ロボティクスの可能性の限界を押し広げるために、長年にわたって緊密に協力してきました。この取り組みの成果が業界全体を加速させていることを非常に嬉しく思っており、早期アクセス プログラムはクラス最高のテクノロジにアクセスする素晴らしい方法です」
利用方法
開発者は、NVIDIA Humanoid Robot Developer Program に参加すると、NVIDIA OSMO と Isaac Lab にアクセスができ、また、近日 NVIDIA NIM マイクロサービスにもアクセスできるようになります。
8 月 1 日までデンバーで開催されるコンピューター グラフィックスのプレミア カンファレンスである SIGGRAPH で ジェンスン フアンの対談を視聴し、生成 AI とアクセラレーテッド コンピューティングの最新情報についてさらに詳しく学びましょう。