Humanoide Roboter

Beschleunigen Sie die Entwicklung fortschrittlicher KI-Robotik.

Apptronik

Workloads

Simulation/Modellierung/Design
-Robotik

Branchen

Fertigung
Automobilindustrie/Transportwesen
Gesundheitswesen und Biowissenschaften
Einzelhandel/Konsumgüter

Geschäftsziel

Innovation
ROI (Rentabilität)

Produkte

NVIDIA Isaac Lab
NVIDIA OSMO
NVIDIA Project GR00T
NVIDIA Jetson Thor

Überblick
Technische Umsetzung
Ökosystem

Die nächste Ära der physischen KI

Humanoide, universell einsetzbare Roboter sind so gebaut, dass sie sich schnell an bestehende, auf den Menschen ausgerichtete städtische und industrielle Arbeitsbereiche anpassen und mühsame, sich wiederholende oder körperlich anstrengende Aufgaben übernehmen können.

Diese mobilen Roboter sind so konzipiert, dass sie sich in der Mensch-Roboter-Interaktion auszeichnen und in verschiedenen Sektoren zunehmend wertvoller werden. Humanoide Roboter finden ihren Weg von den Fabrikhallen in die Gesundheitseinrichtungen, wo diese Roboter Menschen unterstützen und helfen, den Arbeitskräftemangel durch Automatisierung zu lindern.

Figur 02 Humanoider Roboter in einer BMW-Fabrik

Figure

Der Bau humanoider Roboter, die nahtlos mit Menschen und anderen Maschinen zusammenarbeiten können, ist mit einer Reihe komplexer technischer Herausforderungen verbunden: Nachbildung von menschenähnlicher Wahrnehmung, Freiheitsgrade, Geschicklichkeit, Mobilität, Kognition und Ganzkörpersteuerung. Dies erfordert beschleunigte Fortschritte in der Robotikforschung und in Technologien wie künstlicher Intelligenz (KI), maschinelles Lernen, Physik, Sensortechnologien und Mechatronik.

Quick-Links

Was ist ein humanoider Roboter?

Power für die nächste Welle der KI-Robotik

Die nächste Welle der KI: Physische KI

Fortschritte in der Entwicklung humanoider Roboter

NVIDIA entwickelt beschleunigte Systeme, Tools, Services, Algorithmen und andere Robotertechnologien, die zum Bau von universell einsetzbaren, humanoiden Formfaktor-Robotern verwendet werden können.

Drei-Computer-Framework

Humanoide Roboter müssen in einer gegebenen Umgebung erkennen, planen und handeln, was die Verarbeitung großer Datenmengen in Echtzeit beinhaltet. Multimodale Eingaben, von visuellen Informationen bis hin zu komplexen Befehlen in natürlicher Sprache, erfordern trainierte Modelle und Richtlinien für mehrere Funktionen unter Verwendung von realen und synthetisch erzeugten Datensätzen, Simulationstools und Roboterlernen-Frameworks, die von der Leistung der GPU-Parallelität und umfangreichen Grafik- und Simulationsfunktionen profitieren.

Die drei KI-Systeme sind:

ein NVIDIA-KI-Supercomputer – ein DGX™ mit NVIDIA H100- oder B100-Prozessoren – für das Training leistungsstarker generativer physikalischer KI-Modelle und roboterbasierter Grundlagenmodelle.
Ein NVIDIA OVX™-Computer mit NVIDIA RTX™-GPUs für die synthetische Datengenerierung, Roboterlernen und Testen in der Simulation, mit Simulationstools, die auf NVIDIA Omniverse™ aufbauen.
Ein On-Robot-Laufzeit-Computer wie der NVIDIA Jetson Thor basiert auf der Blackwell-Architektur von NVIDIA und kann die Inferenz für ein Ensemble von KI-Modellen durchführen.

Physische KI wird von drei Computern, NVIDIA DGX, Omniverse und AGX, beschleunigt

NVIDIA Projekt GR00T

Das

Projekt GR00T von NVIDIA ist eine umfassende Forschungsinitiative zur Beschleunigung der Entwicklung von universell einsetzbaren Roboter-Grundlagenmodellen, Roboterrichtlinien und Workflows in der humanoiden Robotik, mit dem Ziel, diese für andere Ausführungsformen anzupassen, zu optimieren und zu destillieren.

Roboterlernen und Framework für Simulationen

Das Experimentieren mit physischer Roboter-Hardware kann im großen Maßstab teuer und unpraktisch sein. Roboterlernen- und Test-Frameworks wie NVIDIA Isaac Sim™ und Isaac Lab, die auf der physikalisch genauen Simulationsplattform NVIDIA Omniverse basieren, ermöglichen es Entwicklern, das Lernen von Fähigkeiten zu beschleunigen, indem sie mehrere humanoide Roboter-Agenten parallel trainieren.

Durch die Verwendung der Domänenrandomisierung zum Trainieren der Agenten in einer Vielzahl von Umgebungen und unter verschiedenen Bedingungen wird die Robustheit der Richtlinien erhöht, sodass der Roboter in neuartigen Umgebungen und auf neuem Terrain arbeiten kann.

NVIDIA Isaac Lab ist ein auf Isaac Sim basierendes, einheitliches Open-Source-Roboterlernen-Framework, das verwendet werden kann, um diese Lerntechniken zum Trainieren einer Roboter-Richtlinie anzuwenden.

Isaac Sim ist eine Simulationsplattform für Entwickler, die Ihnen helfen kann, synthetische Daten zu generieren, Umgebungen zusammenzustellen und KI-Roboterdesigns und -modelle in einer physikalisch genauen virtuellen Welt testen zu können. Mit Isaac Sim können Sie mehrere Roboter gleichzeitig trainieren – ohne die Einschränkungen der physischen Hardware.

Agility Robotics

Projekt GR00T – Workflows

Datengenerierung und -verarbeitung

Es besteht ein großer Bedarf an multimodalen Daten, um ein umfassendes Verständnis der Roboterumgebung zu erhalten. Das Sammeln umfangreicher Datensätze für die Robotik ist eine Herausforderung, und synthetische Daten helfen, diese Datenlücke zu schließen.

Erstellen: Das Trainieren eines Roboters für eine Vielzahl von Umgebungen und Objekten kann sich für Entwickler schnell als teuer und zeitaufwändig erweisen. Mit simulierten Assets wie visuell vielfältigen Szenen, Objekten und Texturen mit GR00T-Gen-Workflow können Sie Domänenrandomisierung anwenden und effektive Roboterrichtlinien in der Simulation erstellen und in der realen Welt bereitstellen.

Training eines humanoiden Roboters mit verschiedenen Roboterszenen und Objekten

Generieren: KI-Roboter können auch aus Beobachtungen und der Reproduzierung von Aktionen aus menschlichen Demonstrationen lernen. Mit dem GR00T-Mimic-Workflow können Sie Bewegungsdaten und Trajektorien aus teleoperierten Demonstrationen generieren.

Fourier-Humanoid, der durch bestärkendes Lernen einen Menschen bei der Erledigung von Küchenaufgaben imitiert

Teleoperation eines humanoiden Fourier-Roboters

Komprimieren: Humanoide Roboter verlassen sich auf visuelle Daten, um die Umgebung wahrzunehmen und mit ihr zu interagieren. Damit diese Roboter Bild- und Videodaten in Echtzeit effizient verarbeiten und zukünftige Ereignisse in einer Umgebung über ein KI-System wie ein Weltmodell simulieren können, helfen die NVIDIA Cosmos Tokenizer-Suite von neuronalen Tokenizern, eine höhere Bildqualität zu erhalten, eine 8-fache Kompressionsrate zu erzeugen und 12-fache Leistung zu erzielen. NVIDIA Nemo kann zum Training oder zur Feinabstimmung von Videogrundlagenmodellen verwendet werden.

1X erstellt neue tokenisierte Datensätze für humanoide Roboter mit hoher räumlich-zeitlicher Komprimierung mittels NVIDIA Cosmos Tokenizer.

Geschickte Manipulation

Die Greiffunktionalität von humanoiden Robotern erfordert menschenähnliche, geschickte Fähigkeiten zur Objektmanipulation und die Validierung von Greifdaten eines Roboters erfordert umfangreiche Datensätze, ein End-to-End-Greifsystem, das feinkörnige, geschickte Manipulationen durchführen kann. GR00T-Dexterity ist eine Suite von Modellen und Richtlinien, die einen auf bestärkendes Lernen basierenden Ansatz und Referenz-Workflows verwenden, um sie zu entwickeln.

Galbot verwendete NVIDIA Isaac Lab und Isaac Sim, um eine große Anzahl von Griffen zu entwickeln und zu validieren, und demonstrierte dabei einen Zero-Shot-Sim-to-Real-Transfer.

Robotische Mobilität

Die allgemeine Navigation in lauten und unübersichtlichen Umgebungen erfordert eine umfassende Abstimmung. Mit dem neuartigen Referenz-Workflow GR00T-Mobility können Sie einen Mobilitäts-Allrounder für die Navigation in verschiedenen Umgebungen und Roboter-Varianten erstellen.

Auf Isaac Sim basierende Lagerhausumgebung mit einem Humanoiden, Vierbeiner und Gabelstapler-Navigationsszenen

Ganzkörpersteuerung

Die Ganzkörpersteuerung eines humanoiden Roboters kann eine Herausforderung darstellen, da sie sowohl eine stabile, geschickte Manipulation als auch eine robuste Fortbewegung erfordert. GR00T-Control ist eine Suite von erweiterten Bewegungsplanungs- und Steuerungsmodellen, Richtlinien und Referenz-Workflows, um die Entwicklung effektiver Steuerungssysteme für humanoide Roboter zu rationalisieren. Diese Suite umfasst ausgeklügelte Algorithmen zur Steuerung der Aktoren des Roboters und gewährleistet präzise und koordinierte Bewegungen.

Mit GR00T-Control können Sie robuste autonome Richtlinien für Ganzkörperbewegungen durch Nachahmungslernen trainieren und das Erlernen von humanoiden Ganzkörperfähigkeiten für geschickte Manipulation und Fortbewegung anhand von teleoperierten Datensätzen demonstrieren.

Die HOVER-Richtlinie zeigt vier Humanoiden mit vielseitiger Steuerung

KI-basierte Roboterwahrnehmung

Um das Situationsbewusstsein und die Effizienz der Interaktion für humanoide Roboter zu verbessern, müssen Roboter über ein Langzeitgedächtnis mit Details über Ereignisse, Räume, personalisierte Einstellungen und kontextbewusste Antworten verfügen.

GR00T-Perception ist eine Suite von Wahrnehmungsbibliotheken, Grundlagenmodellen und Referenz-Workflows, die mit Isaac Sim und Isaac ROS erstellt wurden.

Orchestrierung von Robotik-Workloads

Der Orchestrierungsservice NVIDIA OSMO ist cloudnativ, flexibel und kann Daten rückverfolgen. Sie können Computing-Aufträge verschiedenen Ressourcen zuweisen und die Produktivität der Entwickler steigern, während Sie eine Reihe von Robotik-Workloads in Echtzeit verwalten. OSMO ist mit Project GR00T-Workflows kompatibel.

On-Robot-Computing-Plattform der nächsten Generation

Die Roboter-Hardware ist ebenfalls von entscheidender Bedeutung, da sie die Fähigkeiten, die Leistung, die funktionale Sicherheit und die Eignung beeinflusst, ein Ensemble von multimodalen KI-Modellen auszuführen, damit der humanoide Roboter unter allen Bedingungen arbeiten kann.

Um hochleistungsfähige, universell einsetzbaren humanoide Roboter zu ermöglichen, die Bildverarbeitung, Bewegungsplanung und Trajektorienplanung usw. bewältigen können, haben wir NVIDIA Jetson Thor entwickelt, der gleichzeitig die Systemsicherheit erhöht. Er basiert auf der Blackwell-GPU-Architektur von NVIDIA, liefert eine KI-Leistung von 800 TFLOPS und ist mit einem funktionalen Sicherheitsprozessor integriert.

Quick-Links

Fortschrittliche Entwicklung von humanoiden Robotern mit GR00T-Workflows

Erste Schritte mit NVIDIA Isaac Lab für Roboterlernen

Schnelles Roboterlernen in der Simulation mit NVIDIA Isaac Lab

Ökosystem

Erste Schritte mit unseren Partnern im Bereich Humanoide Roboter

Quick-Links

Galbot fördert die Entwicklung von humanoiden Robotern

Fourier trainiert humanoide Roboter mit NVIDIA Simulationstools

Agility Robotics überwindet die Sim2Real-Lücke mit NVIDIA Isaac Lab

Jetzt starten

Nehmen Sie am Entwicklerprogramm für humanoide Roboter von NVIDIA teil und erhalten Sie exklusiv frühzeitigen Zugriff auf NVIDIA-beschleunigte Computersysteme von der Cloud bis zum Edge, die Jetson Thor Computing-Plattform, Roboter-Workflow-Orchestrierungs-Services, Grundlagenmodelle, Roboterlernen und Frameworks für Simulationen.

Jetzt bewerben

NVIDIA Robotics erkunden

Ressourcen

Synthetische Daten

Schließen Sie die Lücke zwischen Simulation und Realität, indem Sie physikalisch präzise virtuelle Szenen und Objekte erstellen, um KI-Modelle zu trainieren und gleichzeitig Zeit und Kosten für das Training zu sparen.

Anwendungsbeispiele erkunden

Roboterlernen

Wenden Sie Techniken des bestärkenden Lernens und des Lernens durch Nachahmung auf alle Arten von Robotern an und erstellen Sie Roboterrichtlinien mit NVIDIA Isaac Lab, einem Open-Source-Framework für Roboterlernen.

Isaac Lab herunterladen

Simulation

Isaac Sim ist ein Robotersimulations-Framework, das auf NVIDIA Omniverse aufbaut und hochwertige fotorealistische Simulationen zum Trainieren humanoider Roboter bereitstellt.

Isaac Sim herunterladen

Bewerben Sie sich jetzt für das Entwicklerprogramm für humanoide Roboter von NVIDIA

Jetson Thor

NVIDIA Jetson Thor basiert auf der NVIDIA Blackwell-Architektur und ermöglicht humanoiden Robotern die Ausführung komplexer multimodaler KI-Modelle.

Early Access anfordern

Aktuelles

March 18, 2025

NVIDIA Unveils Open Physical AI Dataset to Advance Robotics and Autonomous Vehicle Development

Teaching autonomous robots and vehicles how to interact with the physical world requires vast amounts of high-quality data. To give researchers and developers a head start, NVIDIA is releasing a massive, open-source dataset for building the next generation of physical AI. Announced at NVIDIA GTC, a global AI conference taking place this week in San Read Article

Weitere Infos

March 18, 2025

NVIDIA Open-Sources cuOpt, Ushering in New Era of Decision Optimization

Every second, businesses worldwide are making critical decisions. A logistics company decides which trucks to send where. A retailer figures out how to stock its shelves. An airline scrambles to reroute flights after a storm. These aren’t just routing choices — they’re high-stakes puzzles with millions of variables, and getting them wrong costs money and, Read Article

Weitere Infos

February 20, 2025

Into the Omniverse: How OpenUSD and Synthetic Data Are Shaping the Future for Humanoid Robots

The NVIDIA Isaac GR00T Blueprint for synthetic motion data significantly accelerates the data generation and training of humanoid robots.

Weitere Infos