L'IA physique
NVIDIA Cosmos
Accélérez le développement de l'IA physique avec des modèles de fondation du monde.
Aperçu
Qu'est-ce que NVIDIA Cosmos ?
NVIDIA Cosmos™ est une plateforme de modèles de fondation du monde génératifs, de générateurs de jetons avancés, de garde-corps et d'un pipeline de traitement et de conservation de données accélérés conçus pour accélérer le développement de systèmes d'IA physique comme les véhicules autonomes (VA) et les robots.
Avantages
Accélérer le développement de l'IA physique avec des modèles de fondation du monde
Cosmos offre aux développeurs un accès ouvert et facile à des modèles de fondation du monde et des pipelines de données hautement performants, rendant le développement de l'IA physique accessible à tous.
Modèles
Modèles NVIDIA Cosmos World Foundation
Une famille de modèles pré-entraînés conçus spécialement pour générer des vidéos et des états du monde basés sur la physique consciente pour le développement physique de l'IA.
Pour en savoir plus sur les architectures de modèle, les ressources de développement et la disponibilité, cliquez ici.
Famille de modèles à la pointe de la technologie
- Modèles autorégressifs et de diffusion pour la génération Text-to-World et Video-to-World, disponibles dans des tailles de paramètres allant de 4 à 14 milliards pour répondre à divers besoins.
- Modèle de suréchantillonnage de 12 milliards de paramètres pour affiner les invites de texte, offrant une précision et des détails améliorés dans les sorties générées.
- Modèle de 7 milliards de paramètres conçu pour le décodage de séquences vidéo, optimisé pour les applications de réalité augmentée.
Garde-corps intégrés
- Protéger préalablement pour filtrer les marques, le contenu NSFW et les messages nuisibles.
- Protéger a posteriori pour supprimer les scénarios douteux.
- Garde-corps pour brouiller les visages humains.
- Filigranes numériques sur des vidéos synthétiques générées à partir des API de prévisualisation du catalogue d'API NVIDIA.
Benchmarks
Voyage vers la performance de l'IA physique
NVIDIA travaille avec l'écosystème de la robotique et des véhicules autonomes pour développer un ensemble de benchmarks qui reflètent les exigences uniques des applications physiques d'IA à partir de modèles de fondation du monde.
Les benchmarks Cosmos sont conçus pour évaluer la prochaine génération de modèles du monde avec des critères avancés comme la cohérence 3D et l'alignement physique, essentiels pour la robotique et les systèmes autonomes.
Comparés à VideoLDM (VLDM), un modèle générateur de référence pour la synthèse vidéo, les WFM Cosmos excellent dans le domaine de la précision géométrique avec un taux d'erreur Sampson plus faible et une meilleure stabilité temporelle. Les benchmarks évaluent également les modèles de fondation du monde basés sur des comportements physiques comme la gravité et la dynamique de collision.
Les modèles de fondation du monde Cosmos surpassent constamment les VLDM en matière de cohérence visuelle, atteignant des taux de réussite d'estimation de pose jusqu'à 14 fois plus élevés. Les modèles de diffusion offrent une meilleure fidélité dès l'emploi, mais les modèles autorégressifs offrent d'excellentes performances pour les modèles personnalisés.
Cas d'utilisation
Comment les développeurs utilisent-ils NVIDIA Cosmos ?
Découvrez comment les développeurs spécialisés dans la robotique, les véhicules autonomes et de vision avec l'IA peuvent utiliser Cosmos pour faire progresser leur travail.
-
Recherche de vidéos
-
3D-to-Real contrôlable
-
Modèle de politique
-
Foresight
-
Simulation de multivers
Recherche de vidéos
Cosmos aide les développeurs à créer des jeux de données sur mesure pour leur formation de modèles d'IA. Qu'il s'agisse de séquences de routes enneigées pour les véhicules autonomes ou de scènes d'entrepôt occupées pour la robotique, Cosmos simplifie le marquage et la recherche vidéo en comprenant les modèles spatiaux et temporels, ce qui facilite la préparation des données d'entraînement.
Cela permet de gagner du temps, de réduire les coûts et de fournir des modèles d'IA très pertinents et percutants pour une utilisation dans le monde réel.
Écosystème
Adopté par les principaux innovateurs en IA physique
Les développeurs de modèles dans les secteurs de la robotique, des véhicules autonomes et de vision avec l'IA utilisent Cosmos pour accélérer le développement de l'IA physique.