Robot Learning

Entraîner les politiques robotiques en simulation.

Boston Dynamics

Charges de travail

Robotique
/ Simulation / Modélisation / Conception

Industries

Fabrication
Villes/espaces intelligents
Soins de santé et sciences de la vie
Vente au détail et biens de consommation emballés

Objectifs commerciaux

Innovation
Retour sur investissement

Produits

NVIDIA Isaac Lab
NVIDIA OSMO
NVIDIA Isaac GR00T
NVIDIA Jetson Thor

Développer des politiques robotiques généralistes

Les robots hors ligne préprogrammés sont conçus pour exécuter des tâches prédéfinies et un ensemble fixe d'instructions dans un environnement prédéterminé. Cela signifie qu'ils sont susceptibles d'éprouver des difficultés lorsqu'ils sont confrontés à un changement inattendu dans leur environnement.

Les robots généralistes pilotés par l'IA peuvent surmonter les limites des comportements préprogrammés des robots. Pour y parvenir, l'apprentissage des robots en simulation est nécessaire pour qu'ils puissent percevoir, planifier et agir de manière autonome dans des conditions dynamiques.

L'apprentissage permet aux robots d'acquérir et d'affiner de nouvelles capacités en utilisant des politiques robotiques pour améliorer leurs performances dans différentes situations. Ces politiques sont des ensembles de comportements appris, notamment la navigation, la manipulation adroite, la locomotion et bien d'autres, qui définissent la manière dont un robot doit prendre des décisions dans diverses situations.

Avantages de l'apprentissage des robots en simulation

Flexibilité et évolutivité

Itérez, affinez et déployez des politiques robotiques pour des situations réelles à l'aide de diverses sources de données : données collectées de votre robot réel et données synthétiques collectées en simulation pour tout type de robot, qu'il s'agisse de robots mobiles autonomes (AMR), de bras robotiques et de robots humanoïdes. L'approche basée sur la simulation vous permet également d'entraîner rapidement des centaines ou des milliers d'instances de robots en parallèle.

Développement accéléré des compétences

Entraînez les robots dans des environnements simulés pour qu'ils s'adaptent à de nouvelles variations de tâches sans qu'il soit nécessaire de reprogrammer le matériel du robot.

Environnements physiquement précis

Modélisez facilement des facteurs physiques comme les interactions entre objets (rigides ou déformables), la friction, etc., afin de réduire considérablement l'écart entre la simulation et la réalité.

Environnement d'essai sûr

Testez en toute sécurité des situations potentiellement dangereuses sans mettre en péril la sécurité des personnes ni endommager les équipements.

Réduction des coûts
Évitez le fardeau lié à la collecte de données réelles et aux coûts d'étiquetage en générant de grandes quantités de données synthétiques, en validant les politiques robotiques entraînées en simulation et en les déployant plus rapidement sur les robots.

Algorithmes d'apprentissage de robots

Les algorithmes d'apprentissage des robots, comme l'apprentissage par imitation ou l'apprentissage par renforcement, peuvent aider les robots à généraliser les compétences acquises, ce qui leur permet d'améliorer leurs performances dans des environnements nouveaux ou changeants. Il existe différentes techniques d'apprentissage, notamment :

  • L'apprentissage par renforcement : approche par tâtonnements dans laquelle le robot reçoit une récompense ou une pénalité en fonction des actions qu'il entreprend.
  • L'apprentissage par imitation : le robot peut apprendre à partir de démonstrations de tâches réalisées par des personnes.
  • L'apprentissage supervisé : le robot peut être entraîné à l'aide de données étiquetées pour apprendre des tâches spécifiques.
  • La politique de diffusion : le robot utilise des modèles génératifs pour créer et optimiser ses actions en fonction des résultats souhaités.
  • L'apprentissage auto-supervisé : lorsque les ensembles de données étiquetées sont limités, les robots peuvent générer leurs propres étiquettes d'entraînement à partir de données non étiquetées afin d'extraire des informations significatives.

Les robots apprennent et s'adaptent

Les robots à usage général doivent s'adapter et interagir avec de nouveaux environnements et s'appuient donc sur des outils d'apprentissage basés sur la simulation ainsi que sur des workflows évolutifs.

Un workflow typique de bout en bout implique le traitement des données, l'entraînement du modèle d'IA, le traitement parallèle avec les GPU NVIDIA et le déploiement sur un robot réel.

Pour combler les lacunes de données, vous pouvez envisager d'utiliser un ensemble diversifié de sources de données de haute qualité en combinant des données à l'échelle d'Internet, des données synthétiques et des données de robots en direct.

Les robots doivent être entraînés et déployés dans des situations définies par des tâches et nécessitent une représentation virtuelle précise des conditions réelles. NVIDIA Isaac™ Lab est un logiciel open source qui aide à entraîner le politiques robotiques en utilisant des techniques d'apprentissage par renforcement et d'apprentissage par imitation dans une approche modulaire.

Isaac Lab s'appuie sur Isaac Sim™, une application de référence développée sur NVIDIA Omniverse™ qui permet aux développeurs de concevoir, de simuler, de tester et d'entraîner des robots pilotés par l'IA dans des environnements physiquement précis. Il est fourni avec plus de 16 modèles de simulation de robots, plus de 25 environnements, et offre la possibilité d'utiliser différents modèles de capteurs, y compris des capteurs RGB, de contact ou tactiles, un scanner de hauteur et des capteurs raycaster.

Isaac Lab peut être utilisé avec les plateformes de simulation de développement NVIDIA Isaac Sim ou MuJoCo pour le prototypage et le déploiement rapides de politiques robotiques.

NVIDIA OSMO est une plateforme native du Cloud qui orchestre des workflows multi-conteneurs dans divers environnements de calcul pour des tâches comme la génération de données synthétiques, l'entraînement de modèles, l'apprentissage de robots et les tests "software/hardware-in-the-loop".

Les politiques robotiques et les modèles d'IA entraînés sont prêts au déploiement sur des ordinateurs NVIDIA Jetson™ intégrés aux robots, ce qui permet un transfert efficace du monde virtuel au robot réel.

NVIDIA Isaac GR00T pour les développeurs de robots humanoïdes

NVIDIA Isaac GR00T est une plateforme de modèles de fondation de robots à usage général et de pipelines de données conçue pour accélérer le développement de robots humanoïdes.

Si vous êtes une entreprise de robots humanoïdes ou que vous créez des logiciels pour robots humanoïdes, le programme de développement de robots humanoïdes de NVIDIA vous donne accès à des outils et à des technologies avancés, notamment Isaac Sim, Isaac Lab, OSMO et plus encore.

Fourier

Appliquer l'apprentissage par renforcement aux politiques robotiques

Le robot mobile Spot de Boston Dynamics est un robot à détection dynamique qui fournit aux utilisateurs des informations précieuses sur les opérations de routine, l'état du site ou les situations dangereuses.

Boston Dynamics a utilisé Isaac Lab pour entraîner efficacement les politiques robotiques avec un ensemble diversifié d'environnements d'entraînement des tâches robotiques et de bibliothèques d'apprentissage par renforcement personnalisées et intégrées pour entraîner les politiques de locomotion en terrains plats.

Boston Dynamics

Lancez-vous

Construisez des robots adaptables avec des politiqus robustes, basées sur la perception et entraînés en simulation à l'aide de NVIDIA Isaac Lab, un framework modulaire open source pour l'apprentissage des robots.

Ressources

Données synthétiques

Comblez le fossé entre simulation et réalité en créant des scènes et des objets virtuels précis sur le plan physique pour entraîner des modèles d'IA, tout en économisant du temps et de l'argent.

Apprentissage par renforcement

Appliquer les techniques d'apprentissage par renforcement (RL) à tout type de robot et développer des politiques robotiques.

Simulation

Isaac Sim est un framework de simulation de robot développé sur NVIDIA Omniverse qui fournit des simulations photoréalistes haute fidélité pour entraîner des robots humanoïdes.

Robots humanoïdes

Accélérez le développement de robots humanoïdes à l'aide des outils, des bibliothèques et de trois ordinateurs NVIDIA : NVIDIA DGX™ pour l'entraînement de l'IA, OVX™ pour la simulation et Jetson Thor pour le déploiement de l'IA multimodale sur des robots humanoïdes.

Actualités