Simulazione robotica

NVIDIA Isaac Sim™ è un'applicazione di riferimento, basata su NVIDIA Omniverse™, che consente di costruire, addestrare, testare e convalidare robot basati sull'IA, come umanoidi, robot mobili autonomi (AMR) e bracci robotici, interamente in ambienti simulati.

1. Importazione di risorse: Utilizza risorse esistenti che sono state costruite in 3D CAD o strumenti software DCC. Queste risorse devono essere convertite in Universal Scene Description (OpenUSD) prima di essere utilizzate in Isaac Sim.
2. Creazione di ambienti: Una volta introdotte le risorse pertinenti, crea un ambiente virtuale, come un magazzino o una fabbrica. L'obiettivo è rappresentare lo spazio il più accuratamente possibile nel proprio mondo reale, inclusi i colori, le trame e l'illuminazione.
3. Aggiunta di robot: Una volta che la scena è stata impostata, i modelli dei robot possono essere introdotti attraverso Universal Robot Description Format o URDF. URDF include anche le mesh visive e le gerarchie primarie (relazioni figlio-genitore) e le informazioni mesh di collisione, articolazioni e sensori.
4. Aggiunta di fisica e sensori: Per interagire correttamente nel mondo reale, gli attributi fisici devono essere assegnati ai robot. Le simulazioni fisiche per il corpo rigido e i corpi deformabili, oltre alle articolazioni rese possibili dal motore fisico NVIDIA® PhysX®, consentono ai robot di padroneggiare la cinematica del loro ambiente. Per catturare il comportamento del robot dovranno essere aggiunti anche dispositivi visivi (ad esempio telecamera) e non visivi (Lidar, radar, IMU, ecc.).
5. Interazione: l'ultima fase di questo processo consiste nel simulare il robot o i robot nei vari scenari spazio-temporali

La simulazione può sbloccare nuovi casi d'uso avviando l'addestramento di modelli fondamentali o accelerando il processo di messa a punto di modelli di IA pre-addestrati con la generazione di dati sintetici o SDG. Può consistere in immagini di testo, 2D o 3D nello spettro visivo e non visivo e persino dati di movimento che possono essere utilizzati in combinazione con dati del mondo reale per addestrare modelli di IA fisica multimodale.

La randomizzazione del dominio è un passaggio chiave nel flusso di lavoro SDG, in cui molti parametri in una scena possono essere modificati per generare un set di dati diversificato, dalla posizione, al colore, alle trame all'illuminazione degli oggetti. L'aumento nella fase di post-elaborazione diversifica ulteriormente i dati generati aggiungendo difetti come sfocatura localizzata, pixelazione, ritaglio randomizzato, inclinazione e fusione.

Inoltre, le immagini generate vengono automaticamente annotate e possono includere RGB, caselle di delimitazione, segmentazione di istanza e semantica, profondità, nuvole di punti di profondità, nuvole di punti lidar e altro ancora.

L’apprendimento dei robot è fondamentale per garantire che possano avere buone abilità in maniera ripetuta ed efficiente nel mondo fisico. La simulazione ad alta fedeltà fornisce un campo di addestramento virtuale per i robot per affinare le loro abilità attraverso tentativi ed errori o attraverso l'imitazione. Ciò garantisce che i comportamenti appresi dal robot in simulazione siano più facilmente trasferibili al mondo reale.

Il software-in-loop (SIL) è una fase critica di test e convalida nello sviluppo di software per sistemi di robotica fisica alimentati dall’IA. Nel SIL, il software che controlla il robot viene testato in un ambiente simulato piuttosto che sull’hardware reale.

Il SIL con simulazione garantisce una modellazione accurata della fisica del mondo reale, inclusi gli ingressi dei sensori, la dinamica degli attuatori e le interazioni ambientali. Ciò garantisce che lo stack software del robot si comporti nella simulazione come sul robot fisico, migliorando la validità dei risultati dei test.

La generazione di dati sintetici, l’apprendimento robotico e il test dei robot sono flussi di lavoro altamente interdipendenti e richiedono un’orchestrazione attenta attraverso un’infrastruttura eterogenea. I flussi di lavoro robotici richiedono anche specifiche adatte agli sviluppatori che eliminano la complessità mediante la configurazione dell'infrastruttura, modi semplici per il tracciamento dei dati e della linea di modelli e un modo sicuro per distribuire questi carichi di lavoro.