Robotiksimulation

NVIDIA Isaac Sim™ ist eine Referenzanwendung, die auf NVIDIA Omniverse™ basiert und mit der Sie KI-gestützte Roboter wie Humanoide, autonome mobile Roboter (AMRs) und Roboterarme bauen, trainieren, testen und validieren können – und zwar ausschließlich in simulierten Umgebungen.

1. Importieren von Assets: Verwenden Sie vorhandene Assets, die in 3D CAD oder DCC-Software-Tools gebaut wurden. Diese Assets müssen vor der Verwendung in Isaac Sim in Universal Scene Description (OpenUSD) konvertiert werden.
2. Erstellen von Umgebungen: Sobald die relevanten Assets eingebracht wurden, erstellen Sie eine virtuelle Umgebung, wie ein Warenlager oder eine Fabrik. Das Ziel ist es, den Raum aus der realen Welt so genau wie möglich nachzubilden, einschließlich der Farben, Texturen und Beleuchtung.
3. Hinzufügen von Robotern: Sobald die Szene eingerichtet ist, können Robotermodelle über Universal Robot Description Format oder URDF eingebracht werden. URDF enthält auch visuelle Meshes und primäre Hierarchien (Eltern-Kind-Beziehungen) und Informations-Kollisionsnetze, Gelenke und Sensoren.
4. Hinzufügen von Physik und Sensoren: Um in der realen Welt richtig zu interagieren, müssen den Robotern physische Attribute zugewiesen werden. Dank physikalischer Simulationen für Starre Körper und Deformierbare Körper sowie Artikulationen, die durch die NVIDIA® PhysX® Physik-Engine ermöglicht werden, ist es gelungen, dass Roboter die Kinematik ihrer Umgebung beherrschen können. Sowohl visuelle (z. B. Kamera) als auch nichtvisuelle (Lidar, Radar, IMU usw.) Simulationen müssen ebenfalls hinzugefügt werden, um das Verhalten des Roboters zu erfassen.
5. Interaktion: Der letzte Schritt dieses Prozesses besteht darin, den oder die Roboter in den verschiedenen räumlichen und zeitlichen Szenarien zu simulieren.

Simulation kann neue Anwendungsfälle erschließen, indem sie das Training von grundlegenden Modellen als Ausgangspunkt nutzt oder den Feinabstimmungsprozess von vortrainierten KI-Modellen mit synthetischer Datengenerierung (SDG) beschleunigt. Sie kann aus Text-, 2D- oder 3D-Bildern im visuellen und nicht-visuellen Spektrum bestehen. Des Weiteren kann sie sogar aus Bewegungsdaten bestehen, die in Verbindung mit realen Daten zum Einsatz kommen können, um multimodale physikalische KI-Modelle zu trainieren.

Domänenrandomisierung ist ein wichtiger Schritt im SDG-Workflow, im Zuge derer viele Parameter in einer Szene geändert werden können, um einen vielfältigen Datensatz zu generieren – von der Position über die Farbe bis hin zu Texturen und Beleuchtung der Objekte. Die Erweiterung in der Nachbearbeitungsphase diversifiziert die generierten Daten weiter, indem sie Defekte wie lokalisierte Unschärfen, Verpixelung, zufälliges Zuschneiden, Schrägstellen und Verblenden hinzufügt.

Darüber hinaus werden die generierten Bilder automatisch mit Anmerkungen versehen und können RGB, Bounding Boxes, Instanzen und semantische Segmentierung, Tiefe, Tiefenpunktwolke, Lidar-Punktwolke und mehr enthalten.

Roboterlernen ist entscheidend, wenn es darum geht, sicherzustellen, dass er robuste Fähigkeiten wiederholt und effizient in der physischen Welt ausführen kann. High-Fidelity-Simulation bietet einen virtuellen Trainingsplatz für Roboter, um ihre Fähigkeiten durch das Prinzip von Versuch und Irrtum oder durch Imitation zu verbessern. Dadurch wird sichergestellt, dass das in der Simulation erlernte Verhalten des Roboters leichter in die reale Welt übertragen werden kann.

Software-in-Loop (SIL) ist eine kritische Test- und Validierungsphase bei der Entwicklung von Software für physikalische KI-betriebene Robotik-Systeme. Bei der SIL wird die Software, die den Roboter steuert, in einer simulierten Umgebung und nicht auf der eigentlichen Hardware getestet.

SIL mit Simulation gewährleistet eine genaue Modellierung der Physik der realen Welt, einschließlich Sensoreingänge, Aktordynamik und Umgebungsinteraktionen. Dadurch wird sichergestellt, dass sich der Roboter-Software-Stack in der Simulation so verhält, wie er sich auf dem physischen Roboter verhalten würde. Dies verbessert die Validität der Testergebnisse.

Synthetische Datengenerierung, Roboterlernen und Robotertests sind in hohem Maße voneinander abhängige Arbeitsabläufe und erfordern eine sorgfältige Orchestrierung über eine heterogene Infrastruktur hinweg. Robotergestützte Workflows erfordern darüber hinaus eine entwicklerfreundliche Spezifikation, die die Komplexität bei der Einrichtung der Infrastruktur beseitigt und einfache Wege schafft, um Daten und Modellabstammungen zu tracken. Außerdem sorgen sie für eine sichere Bereitstellung der besagten Workloads.