Physische KI
NVIDIA Cosmos
Beschleunigen Sie die Entwicklung physischer KI mit World-Foundation-Modellen.
Überblick
Was ist NVIDIA Cosmos?
NVIDIA Cosmos™ ist eine Plattform mit modernen generativen World-Foundation-Modellen (WFM), fortschrittlichen Tokenizern, Guardrails und einer beschleunigten Datenverarbeitungs- und Kuratierungspipeline, die die Entwicklung von Systemen mit physischer KI wie autonome Fahrzeuge (AVs) und Roboter beschleunigen soll.
Vorteile
Beschleunigen Sie die Entwicklung physischer KI mit World-Foundation-Modellen
Cosmos bietet Entwicklern einen offenen und einfachen Zugang zu hochleistungsfähigen World-Foundation-Modellen und Datenpipelines und macht damit die Entwicklung physischer KI für jeden möglich.
Modelle
NVIDIA Cosmos World Foundation Models
Eine Serie von vorab trainierten Modellen, die speziell für die Generierung von physikorientierten Videos und Umgebungszuständen für die Entwicklung physischer KI entwickelt wurden.
Weiteres über Modellarchitekturen, Entwicklungsressourcen und Verfügbarkeit erfahren Sie hier.
Eine Serie von modernsten Modellen
- Autoregressive Modelle und Diffusionsmodelle für die Generierung von Text-to-World und Video-to-World, verfügbar in Parametergrößen von 4 bis 14 Milliarden für die verschiedensten Anforderungen.
- Upsampling-Modell mit 12-Milliarden-Parameter für die Verfeinerung von Textaufforderungen, das eine höhere Genauigkeit und Detailtreue in den generierten Ausgaben liefert.
- 7-Milliarden-Parameter-Modell für die Dekodierung von Videosequenzen, optimiert für Augmented-Reality-Anwendungen.
Eingebaute Guardrails
- Pre-Guard zum Filtern von Marken, NSFW-Inhalten („Not Safe For Work“) und schädlichen Aufforderungen.
- Post-Guard zum Entfernen fragwürdiger Szenarien.
- Guardrail zur Unkenntlichmachung menschlicher Gesichter.
- Digitale Wasserzeichen auf synthetischen Videos, die aus Preview-APIs aus dem NVIDIA API-Katalog generiert werden.
Benchmarks
Entwicklung der Performance physischer KI
NVIDIA arbeitet mit dem Ökosystem der Bereiche Robotik und Autonome Fahrzeuge zusammen, um eine Reihe von Benchmarks zu entwickeln, die die spezifischen Anforderungen von physischen KI-Anwendungen anhand von World-Foundation-Modellen berücksichtigen.
Cosmos-Benchmarks wurden entwickelt, um die nächste Generation von Weltmodellen mit fortschrittlichen Kriterien wie 3D-Konsistenz und Physik-Ausrichtung zu bewerten, die für Robotik und autonome Systeme unerlässlich sind.
Im Vergleich zu VideoLDM (VLDM), einem generativen Baseline-Modell für die Videosynthese, zeichnen sich Cosmos WFMs durch geometrische Genauigkeit mit geringeren Sampson-Fehlern und besserer zeitlicher Stabilität aus. Benchmarks bewerten WFMs auch auf der Grundlage von physischem Verhalten wie Schwerkraft und Kollisionsdynamik.
Cosmos WFMs übertreffen VLDM immer wieder bei der visuellen Konsistenz und erzielen eine bis zu 14-mal höhere Erfolgsrate bei der Posenschätzung. Während Diffusionsmodelle von Haus aus eine höhere Genauigkeit aufweisen, bieten autoregressive Modelle eine hervorragende Leistung bei benutzerdefinierten Modellen.
Anwendungsfälle
Wie Entwickler NVIDIA Cosmos nutzen
Schauen Sie sich an, wie Entwickler aus den Bereichen Robotik, Autonome Fahrzeuge und Vision AI mit Cosmos noch bessere Ergebnisse erzielen.
-
Videosuche
-
Steuerbares 3D-to-Real
-
Richtlinienmodell
-
Vorausschau
-
Multiversum-Simulation
Videosuche
Cosmos hilft Entwicklern, maßgeschneiderte Datensätze für das Training ihrer KI-Modelle zu erstellen. Ob es sich um Aufnahmen schneebedeckter Straßen für selbstfahrende Autos oder um geschäftige Lagerhallen für Robotik handelt, Cosmos vereinfacht das Tagging und die Suche in Videos, indem es räumliche und zeitliche Muster erkennt und so das Vorbereiten der Trainingsdaten erleichtert.
Das spart Zeit, senkt Kosten und trägt dazu bei, KI-Modelle zu liefern, die für den realen Einsatz äußerst wichtig und wirkungsvoll sind.
Ökosystem
Übernommen von führenden Innovatoren für physische KI
Modellentwickler aus den Bereichen Robotik, Autonome Fahrzeuge und Vision AI verwenden Cosmos zur beschleunigten Entwicklung physischer KI.