Robots humanoïdes

Une compréhension détaillée de l'environnement par un robot nécessite une énorme quantité de données multimodales. La collecte d'ensembles de données de grande taille pour la robotique peut s'avérer difficile et les données synthétiques contribuent à combler cette lacune.

Créer : entraîner un robot sur un ensemble diversifié d'environnements et d'objets peut rapidement s'avérer coûteux et fastidieux pour les développeurs. La simulation de ressources telles que des scènes, des objets et des textures visuellement diversifiés grâce au workflow GR00T-Gen permet d'appliquer la randomisation de domaine, de créer des politiques de robots efficaces en simulation et de les déployer dans le monde réel.

Entraîner un robot humanoïde avec différents scènes et objets

Générer : les robots pilotés par l'IA peuvent également apprendre en observant et en copiant des actions de démonstrations effectuées par des humains. Grâce au workflow GR00T-Mimic, vous pouvez générer des données de mouvement et des trajectoires à partir de démonstrations à distance.

Opération à distance d'un robot Fourier humanoïde

Comprimer : les robots humanoïdes s'appuient sur des données visuelles pour percevoir et interagir avec l'environnement. Pour qu'ils puissent traiter efficacement les images et les vidéos en temps réel et simuler des événements futurs dans un environnement par le biais d'un système d'IA tel qu'un modèle de monde, la suite de générateurs de jetons neuronaux NVIDIA Cosmos Tokenizer contribue à maintenir une qualité d'image élevée, et compresse huit fois plus que les méthodes de pointe actuelles, en plus d'être 12 fois plus performant. NVIDIA Nemo peut être utilisé pour entraîner ou affiner les modèles vidéos de base. 

1X construit de nouveaux ensembles de données tokenisés pour robots humanoïdes avec une compression spatio-temporelle élevée à l'aide de NVIDIA Cosmos Tokenizer. 

Manipulation adroite 

La fonctionnalité de saisie d'un robot humanoïde nécessite des capacités de manipulation d'objets dignes de celles des humains, tandis que la validation des données de saisie des robots nécessite des ensembles de données de grande taille, un système de saisie de bout en bout capable d'effectuer des manipulations adroites et subtiles. GR00T-Dexterity est une suite de modèles et de politiques qui utilise une approche basée sur l'apprentissage par renforcement et des workflows de référence pour les développer.

Galbot a utilisé NVIDIA Isaac Lab et Isaac Sim pour développer et valider un grand nombre de saisies et a démontré un passage de la simulation à la réalité en un seul essai.

Mobilité robotique

La navigation générale dans des environnements bruyants et encombrés nécessite un réglage approfondi. Avec le nouveau workflow de référence de GR00T-Mobility, vous pouvez créer un modèle de mobilité généraliste permettant à des robots de formats différents de naviguer dans des environnements variés.

Environnement d'entrepôt basé sur Isaac Sim avec des scènes de navigation pour humanoïde, quadrupède et chariot élévateur

Contrôle du corps entier 

Le contrôle du corps entier d'un robot humanoïde peut s'avérer difficile, car il nécessite à la fois une manipulation stable et adroite et une locomotion robuste. GR00T-Control est une suite de modèles, de politiques et de workflows de référence avancés de planification et de contrôle de mouvement qui simplifie le développement de systèmes de contrôle efficaces de robots humanoïdes. Cette suite comprend des algorithmes sophistiqués pour gérer les vérins du robot afin d'obtenir des mouvements précis et coordonnés.

Grâce à GR00T-Control, vous pouvez entraîner des politiques de mouvement du corps entier autonomes et robustes par l'apprentissage par imitation et démontrer les capacités de manipulation et de locomotion adroites issues d'un apprentissage des compétences du corps entier sur des ensembles de données opérés à distance.

Perception des robots pilotée par l'IA 

Pour améliorer la connaissance de la situation des robots humanoïdes et obtenir des interactions plus efficaces, les robots ont besoin d'une mémoire à long terme contenant des détails sur les événements, les espaces, les paramètres personnalisés et les réponses en fonction du contexte.

GR00T-Perception est une suite de bibliothèques, de modèles de base et de workflows de perception de référence développés à l'aide d'Isaac Sim et d'Isaac ROS.

Orchestration des charges de travail robotiques

Le service d'orchestration NVIDIA OSMO est natif du cloud, flexible et traçable. Vous pouvez affecter des tâches de calcul à différentes ressources et assurer la productivité des développeurs tout en gérant différentes charges de travail robotiques en temps réel. OSMO est compatible avec les workflows Project GR00T.