IA fisica
NVIDIA Cosmos
Accelera lo sviluppo dell'IA fisica con i modelli di base del mondo.
Panoramica
Cos'è NVIDIA Cosmos?
NVIDIA Cosmos™ è una piattaforma di modelli generativi di base del mondo (WFM) all'avanguardia, tokenizzatori avanzati, guardrail e una pipeline di elaborazione e gestione dei dati accelerata, progettati per accelerare lo sviluppo di sistemi con IA fisica come veicoli autonomi (AV) e robot.
Vantaggi
Accelera lo sviluppo dell'IA fisica con i World Foundation Model
Cosmos fornisce agli sviluppatori un accesso aperto e facile a modelli di base del mondo e pipeline di dati altamente performanti, rendendo lo sviluppo dell'IA fisica accessibile a tutti.
Modelli
Modelli di base del mondo NVIDIA Cosmos
Una famiglia di modelli pre-addestrati progettati appositamente per generare video e stati del mondo consapevoli della fisica per lo sviluppo dell'IA fisica.
Scopri di più sulle architetture dei modelli, le risorse di sviluppo e la disponibilità qui.
Famiglia di modelli all'avanguardia
- Modelli autoregressivi e di diffusione per la generazione di Text-to-World e Video-to-World, disponibili con dimensioni dei parametri che vanno da 4 a 14 miliardi per soddisfare le varie esigenze.
- Modello di upsampling di 12 miliardi di parametri per il perfezionamento dei prompt di testo, per una maggiore precisione e dettaglio negli output generati.
- Modello di 7 miliardi di parametri progettato per la decodifica di sequenze video, ottimizzato per le applicazioni di realtà aumentata.
Guardrail incorporati
- Pre-guard per filtrare marchi, contenuti NSFW e prompt dannosi.
- Post-guard per rimuovere gli scenari discutibili.
- Guardrail per sfocare i volti umani.
- Filigrane digitali sui video sintetici generati dalle API di anteprima sul catalogo API NVIDIA.
Benchmark
Viaggio verso le prestazioni dell'IA fisica
NVIDIA sta collaborando con l’ecosistema della robotica e dei veicoli autonomi per sviluppare una serie di benchmark che riflettano i requisiti unici delle applicazioni di IA fisica a partire dai modelli di base del mondo.
I benchmark di Cosmos sono progettati per valutare la prossima generazione di modelli di mondo con criteri avanzati come la coerenza 3D e l'allineamento con la fisica, essenziali per la robotica e i sistemi autonomi.
Rispetto al VideoLDM (VLDM), un modello generativo di base per la sintesi video, i WFM di Cosmos eccellono in termini di precisione geometrica con minori errori di Sampson e una migliore stabilità temporale. I benchmark valutano anche i WFM basati su comportamenti fisici come la gravità e la dinamica di collisione.
I WFM di Cosmos superano costantemente i VLDM in termini di coerenza visiva, ottenendo tassi di successo nella stima delle pose fino a 14 volte superiori. Mentre i modelli di diffusione offrono una maggiore fedeltà immediata, i modelli autoregressivi garantiscono prestazioni eccellenti per i modelli personalizzati.
Scenari di utilizzo
Come gli sviluppatori utilizzano NVIDIA Cosmos
Scopri come gli sviluppatori di robotica, veicoli autonomi e IA visiva possono utilizzare Cosmos per migliorare il loro lavoro.
-
Ricerca di video
-
3D-to-Real controllabile
-
Modello di policy
-
Previsione
-
Simulazione del Multiverso
Ricerca di video
Cosmos aiuta gli sviluppatori a creare set di dati su misura per l'addestramento dei loro modelli di IA. Che si tratti di filmati di strade innevate per le auto a guida autonoma o di scenari di magazzini affollati destinati alla robotica, Cosmos semplifica l'etichettatura e la ricerca dei video grazie alla comprensione dei modelli spaziali e temporali, facilitando la preparazione dei dati di addestramento.
Ciò consente di risparmiare tempo e ridurre i costi e contribuisce a fornire modelli di IA altamente rilevanti e di impatto per l'uso nel mondo reale.
Ecosistema
Adottato dai principali innovatori di IA fisica
Gli sviluppatori di modelli dei settori della robotica, dei veicoli autonomi e dell'IA visiva utilizzano Cosmos per accelerare lo sviluppo dell’IA fisica.