ロボティクス シミュレーション

NVIDIA Isaac Sim™ は、NVIDIA Omniverse™ 上に構築されたリファレンス アプリケーションであり、ヒューマノイド、自律移動ロボット (AMR)、ロボット アームなどの AI 搭載ロボットを完全にシミュレートされた環境で構築、トレーニング、テストおよび検証することができます。

1. アセットのインポート: 3D CAD や DCC ソフトウェアツールで構築された既存のアセットを使用します。これらのアセットは、Isaac Sim で利用する前に、Universal Scene Description (OpenUSD) に変換する必要があります。
環境の作成: 関連するアセットが取り込まれたら、倉庫や工場などの仮想環境を作成します。ここでの目標は、色、テクスチャ、照明など、その空間を可能な限り再現することです。
2. ロボットの追加: シーンを設定した後、Universal Robot Description Format (URDF) を使用してロボットモデルを取り込むことができます。URDF には、視覚メッシュとプリム構造 (子-親関係)、情報衝突メッシュ、ジョイント、センサーも含まれています。
3. 物理的属性とセンサーの追加: ロボットが現実世界で適切に相互作用するためには、物理的属性をロボットに割り当てる必要があります。剛体と変形体に対する物理シミュレーションと、NVIDIA® PhysX® 物理エンジンが可能にするアーティキュレーションにより、ロボットは環境の運動学を習得することができます。ロボットの動作をキャプチャするために、視覚的なもの (例: カメラ) や非視覚的なもの (ライダー、レーダー、IMUなど) の両方を追加する必要もあります。
4. インタラクション: このプロセスの最終ステップでは、ロボットまたは複数のロボットを様々な時空間シナリオでシミュレーションします。

シミュレーションでは、基盤となるモデルのトレーニングをブートストラップしたり、合成データー生成 (SDG) を使用して事前トレーニング済みの AI モデルの微調整プロセスを高速化したりすることで、新たなユースケースを開拓することができます。SDG はテキスト、視覚的および非視覚的スペクトルの 2D または 3D イメージ、動作データで構成されており、実世界のデーターと組み合わせて多様な物理 AI モデルのトレーニングに使用できます。

ドメインのランダム化は SDG ワークフローにおける重要なステップであり、シーン内の多くのパラメータを変更して、オブジェクトの位置、色、テクスチャ、照明にいたるまでの多様なデーターセットを生成することができます。さらに、後処理段階での増強では、局所的なぼかし、ピクセル化、ランダムなトリミング、歪み、ブレンドなどの欠陥を追加することで生成されたデーターがさらに多様化されます。

また、生成された画像には自動的にアノテーションがつけられ、RGB、境界ボックス、インスタンスやセマンティック セグメンテーション、深度、深度点群、LiDAR 点群などを含めることができます。

ロボット学習は、ロボットが実世界で強固なスキルを繰り返しかつ効率的に実行できるようにするために非常に重要です。忠実度の高いシミュレーションは、試行錯誤や模倣を通じてロボットがスキルを磨くことができる、仮想トレーニング グラウンドを提供します。これにより、シミュレーションで学習したロボットの動作を、実世界によりスムーズに移行できるようになります。

ソフトウェアインザループ (SIL) は、物理的な AI 搭載ロボット システム向けのソフトウェア開発において重要となるテストおよび検証段階です。SIL では、ロボットを制御するソフトウェアが実際のハードウェアではなく、シミュレーションされた環境でテストされます。

シミュレーションを使用した SIL は、センサー入力、アクチュエータの運動形態、環境との相互作用を含む現実世界の物理を正確にモデリングします。これにより、ロボット ソフトウェア スタックがシミュレーション内で実際のロボットと同じ様に動作し、テスト結果の信頼性が向上します。

合成データ生成、ロボット学習、ロボット テストは高度に相互依存するワークフローであり、異機種環境にあるインフラストラクチャ全体で慎重にオーケストレーションする必要があります。ロボット ワークフローには、インフラストラクチャのセットアップに伴う複雑さを解消し、データとモデルの系統を簡単に追跡し、これらのワークロードを安全にデプロイする方法を提供する、開発者に優しい仕様も求められます。

NVIDIA OSMO は、オンプレミス、プライベート クラウド、パブリック クラウドを問わず、複雑かつ多段階、多コンテナのロボティクス ワークロードをスケーリングするためのクラウド ネイティブなオーケストレーション プラットフォームを提供します。