Simulación de robótica

NVIDIA Isaac Sim™ es una aplicación de referencia, basada en NVIDIA Omniverse™, que le permite crear, entrenar, probar y validar robots con IA, como los humanoides, los robots móviles autónomos (AMR) y los brazos robóticos, en entornos totalmente simulados.

1. Importación de activos: utilice los activos existentes que se han creado en herramientas de software 3D CAD o DCC. Estos activos deben convertirse en una descripción de escena universal (OpenUSD) antes de usarlos en Isaac Sim.
2. Creación de entornos: una vez que se hayan introducido los activos relevantes, cree un entorno virtual, como un almacén o una fábrica. El objetivo es representar el espacio de la forma más precisa posible en su mundo real, incluidos los colores, las texturas y la iluminación.
3. Adición de robots: una vez que se haya configurado la escena, los modelos de robot se pueden introducir mediante el formato de descripción de robot universal o URDF. URDF también incluye mallas visuales y las jerarquías prim (relaciones entre padres e hijos) y mallas de información de colisión, articulaciones y sensores.
4. Adición de física y sensores: para interactuar correctamente en el mundo real, es necesario asignar atributos físicos a los robots. Las simulaciones físicas para cuerpos rígidos y deformables, junto con las articulaciones posibles gracias al motor de física NVIDIA® PhysX®, permiten a los robots dominar la cinemática de su entorno. También habrá que añadir tanto los elementos visuales (p. ej., cámara) como los no visuales (lidar, radar, IMU, etc.) para capturar el comportamiento del robot.
5. Interacción: el paso final de este proceso es simular el robot o los robots en los diversos escenarios espaciotemporales.

La simulación puede desbloquear nuevos casos de uso novedosos al iniciar el entrenamiento de modelos básicos o acelerar el proceso de ajuste fino de modelos de IA preentrenados con generación de datos sintéticos o SDG. Puede constar de texto, imágenes 2D o 3D en el espectro visual y no visual, e incluso datos de movimiento que se pueden utilizar en combinación con datos del mundo real para entrenar modelos de IA físicos multimodales.

La aleatorización de dominios es un paso clave en el flujo de trabajo de SDG, donde se pueden cambiar muchos parámetros de una escena para generar un conjunto de datos diverso, desde la ubicación, hasta el color, pasando por las texturas y la iluminación de los objetos. El aumento, en la fase de posprocesamiento, diversifica aún más los datos generados al agregar defectos como el desenfoque localizado, la pixelación, el recorte aleatorizado, la distorsión y la fusión.

Además, las imágenes generadas se anotan automáticamente y pueden incluir RGB, rectángulos delimitadores, segmentación de instancia y semántica, profundidad, nube de puntos de profundidad, nube de puntos de lidar, y mucho más.

El aprendizaje de robots es crítico para garantizar que pueda desempeñar habilidades potentes, de forma repetida y eficiente en el mundo físico. La simulación de alta fidelidad proporciona un campo de entrenamiento virtual para que los robots perfeccionen sus habilidades mediante prueba y error o por imitación. Esto garantiza que los comportamientos aprendidos por el robot en la simulación sean más fácilmente transferibles al mundo real.

Las pruebas de software en bucle (SIL) es una etapa crítica de prueba y validación en el desarrollo de software para sistemas de robótica físicos con IA. En las SIL, el software que controla el robot se prueba en un entorno simulado en lugar de en el hardware real.

El SIL con simulación garantiza un modelado preciso de la física del mundo real, incluidas las entradas de sensores, la dinámica de los actuadores y las interacciones ambientales. Esto garantiza que la pila de software del robot se comporte en la simulación como lo haría en el robot físico, lo cual mejora la validez de los resultados de las pruebas.

La generación de datos sintéticos, el aprendizaje de robots y las pruebas de robots son flujos de trabajo altamente interdependientes y requieren una orquestación cuidadosa en una infraestructura heterogénea. Los flujos de trabajo robóticos también requieren una especificación apta para desarrolladores que elimina la complejidad con la configuración de infraestructura, formas fáciles de rastrear datos y linaje de modelos, y una forma segura de implementar estas cargas de trabajo.