Simulation robotique

NVIDIA Isaac Sim™ est une application de référence basée sur NVIDIA Omniverse™, qui vous permet de créer, d'entraîner, de tester et de valider des robots optimisés par l'IA, tels que des humanoïdes, des robots mobiles autonomes (AMR) et des bras robotiques, le tout entièrement dans des environnements simulés.

1. Importer des ressources : Utilisez des ressources existantes construites à l'aide d'outils logiciels de CAO 3D ou de DCC (Création de contenu numérique). Ces ressources doivent être converties au format OpenUSD (Universal Scene Description) avant d'être utilisées dans Isaac Sim.
2. Créer des environnements : Une fois les ressources pertinentes ajoutées, créez un environnement virtuel, tel qu'un entrepôt ou une usine. Cette simulation doit être aussi proche de la réalité que possible, y compris en matière de couleurs, de textures et d'éclairage.
3. Ajouter des robots : Une fois la scène configurée, les modèles de robots peuvent être ajoutés au format Universal Robot Description Format, ou URDF. Le format URDF comprend également des maillages visuels et les hiérarchies primaires (relations enfant-parent), ainsi que des maillages de collision et des informations sur les articulations et les capteurs.
4. Ajouter des règles physiques et des capteurs : Pour interagir correctement dans le monde réel, les robots doivent recevoir des attributs physiques. Les simulations physiques pour les corps rigides et les corps déformables ainsi que les articulations rendues possibles par le moteur NVIDIA® PhysX® permettent aux robots de maîtriser la cinématique de leurs mouvements. Des capteurs visuels (par exemple, des caméras) et non visuels (par exemple, radar, lidar, IMU...) doivent être ajoutés pour capturer le comportement du robot.
5. Interaction : La dernière étape de ce processus consiste à simuler le ou les robots dans les divers scénarios spatio-temporels.

La simulation permet de débloquer de nouveaux cas d'utilisation en démarrant l'entraînement de modèles fondamentaux ou en accélérant le processus de réglage de précision de modèles d'IA pré-entraînés grâce à la génération de données synthétiques, ou SDG. Il peut s'agir de texte, d'images 2D ou 3D dans le spectre visuel et non visuel, et même de données de mouvement qui peuvent être utilisées en conjonction avec des données réelles pour entraîner des modèles d'IA physiques multimodaux.

La randomisation de domaine est une étape clé du workflow de SDG, dans lequel de nombreux paramètres d'une scène peuvent être modifiés pour générer un ensemble de données diversifié : emplacement, couleur, textures, éclairage des objets… L'augmentation dans la phase de post-traitement diversifie encore davantage les données générées en ajoutant des défauts, tels qu'un flou ou de la pixellisation localisés, ou un recadrage, une inclinaison et un fusionnement aléatoires.

De plus, les images générées sont automatiquement annotées et peuvent inclure du RGB, des volumes englobants, une segmentation d'instances et sémantique, de la profondeur, un nuage de points de profondeur, un nuage de points lidar, et plus encore.

Le Robot Learning est essentiel pour s'assurer que le robot est en mesure d'effectuer des tâches difficiles de manière répétée et efficace dans le monde physique. La simulation haute fidélité fournit un terrain d'entraînement virtuel pour les robots afin de perfectionner leurs compétences par essais et erreurs ou par imitation. Cela garantit que les comportements que le robot apprend en simulation sont plus facilement transférables dans le monde réel.

L'étape Software-in-loop (SIL) est une étape critique de test et de validation dans le développement de logiciels pour les systèmes de robotique physiques optimisés par l'IA. Pendant l'étape SIL, le logiciel qui contrôle le robot est testé dans un environnement simulé plutôt que sur le matériel réel.

Cette approche assure une modélisation précise de la physique du monde réel, y compris les entrées des capteurs, la dynamique des actionneurs et les interactions avec l'environnement. Cela garantit que la pile logicielle du robot se comporte lors de la simulation comme elle le ferait sur le robot physique, ce qui améliore ainsi la validité des résultats des tests.

Les workflows de génération de données synthétiques, de Robot Learning et de test des robots sont hautement interdépendants et nécessitent une orchestration minutieuse sur une infrastructure hétérogène. Les workflows robotiques nécessitent également une spécification adaptée aux développeurs qui élimine la complexité inhérente à la configuration de l'infrastructure, des moyens faciles de suivre les données et la lignée du modèle, et un moyen sécurisé de déployer ces charges de travail.