Aprendizaje por Refuerzo

Técnica de aprendizaje de robots para desarrollar aplicaciones robóticas adaptables y eficientes.

Nissan

Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree

Cargas de Trabajo

Robótica

Industrias

Todas las industrias

Objetivo de Negocio

Innovación

Productos

NVIDIA Omniverse
NVIDIA Omniverse Enterprise
NVIDIA AI Enterprise

Potencie a los Robots Físicos con Habilidades Complejas Mediante el Aprendizaje por Refuerzo

A medida que los robots asumen tareas más complejas, los métodos de programación tradicionales se vuelven insuficientes. El aprendizaje por refuerzo (RL) es una técnica de machine learning diseñada para abordar este desafío mediante la programación del comportamiento del robot. Con RL en simulación, los robots pueden entrenar en cualquier entorno virtual a través de prueba y error, mejorando sus habilidades de control, planificación de rutas, manipulación y más.

El modelo RL es recompensado por las acciones deseadas, por lo que se adapta y mejora constantemente. Esto ayuda a los robots a desarrollar sofisticadas habilidades motoras gruesas y finas necesarias para las tareas de automatización del mundo real, como agarrar objetos nuevos, caminar en cuadrúpedo y aprender habilidades complejas de manipulación.

Al refinar continuamente las políticas de control basadas en recompensas y analizar sus acciones, RL también puede ayudar a los robots a adaptarse a nuevas situaciones y desafíos imprevistos, haciéndolos más adaptables a las tareas del mundo real.

Entrenamiento de RL Acelerado por GPU para Robótica

El entrenamiento tradicional basado en CPU para RL de robots puede ser costoso, a menudo requiere miles de núcleos para tareas complejas que aumentan los costos para las empresas de robots. Las GPU NVIDIA abordan este desafío con sus capacidades de procesamiento paralelo, lo que acelera significativamente el entrenamiento del modelo RL en comparación con las CPU.

Las plataformas de computación de NVIDIA, incluidas herramientas como Isaac Lab, aprovechan la potencia de la GPU tanto para simulaciones físicas como para cálculos de recompensas dentro del pipeline de RL. Esto elimina los cuellos de botella y agiliza el proceso, lo que facilita una transición más fluida de la simulación a la implementación en el mundo real.

Laboratorio Isaac para el Aprendizaje por Refuerzo

NVIDIA Isaac™ Lab es un framework modular creado sobre NVIDIA Isaac Sim™ que simplifica los workflows de entrenamiento de robots, como el aprendizaje por refuerzo e imitación. Los desarrolladores pueden aprovechar las últimas capacidades de Omniverse™ para entrenar políticas complejas con la percepción habilitada.

  • Crear una Escena: El primer paso es crear una escena en Isaac Lab e importar los activos del robot mediante URDF o MJCF. Aplique esquemas físicos para la simulación e integre sensores para la capacitación en políticas basadas en la percepción.
  • Definir las Tareas de RL: Una vez configurada la escena y el robot, el siguiente paso es definir la tarea de refuerzo que va a realizar el agente. El entorno (por ejemplo, basado en el administrador o en el workflow directo) proporciona el estado actual o las observaciones del agente y ejecuta las acciones que proporciona. A continuación, el entorno responde a los agentes proporcionando los siguientes estados.
  • Entrenar: El último paso es definir los hiperparámetros para el entrenamiento y la arquitectura de políticas. Isaac Lab proporciona cuatro bibliotecas RL para entrenar los modelos con GPU: StableBaselines3, RSL-RL, RL-Games y SKRL.
  • Escalado: Para escalar el entrenamiento a través de sistemas multi-GPU y multi-nodo, los desarrolladores pueden usar OSMO para la orquestación de estos trabajos en una infraestructura híbrida.

Project GR00T ofrece a los desarrolladores una nueva forma de desarrollar específicamente robots humanoides. GR00T es un modelo básico de propósito general que puede ayudar a comprender el lenguaje, emular movimientos humanos y adquirir habilidades rápidamente a través del aprendizaje multimodal. Para obtener más información y acceder a GR00T, solicite el Programa de desarrolladores humanoid de NVIDIA.

Ecosistema de Socios

Vea cómo nuestro ecosistema está creando sus propias aplicaciones y servicios de robótica basados en el aprendizaje por refuerzo y las tecnologías de NVIDIA.

Empeza Ahora

El aprendizaje por refuerzo para la robótica es ampliamente adoptado por los investigadores y desarrolladores de hoy en día. Obtén más información sobre NVIDIA Isaac Lab para el aprendizaje de robots hoy mismo.

Noticia