Aprendizado por Reforço

Técnica de aprendizado de robôs para desenvolver aplicações robóticas adaptáveis e eficientes.

Nissan

Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree

Cargas de Trabalho

Robótica

Robótica

 Todos os setores

Objetivo de Negócios

Inovação

Produtos

NVIDIA Omniverse
NVIDIA Omniverse Enterprise
NVIDIA AI Enterprise

Capacite Robôs Físicos com habilidades Complexas Usando Aprendizado por Reforço

À medida que os robôs assumem tarefas mais complexas, os métodos tradicionais de programação tornam-se insuficientes. O aprendizado por reforço (RL) é uma técnica de machine learning projetada para enfrentar esse desafio programando o comportamento do robô. Com RL em simulação, os robôs podem treinar em qualquer ambiente virtual por tentativa e erro, aprimorando suas habilidades em controle, planejamento de caminhos, manipulação e muito mais.

O modelo RL é recompensado pelas ações desejadas, por isso está constantemente se adaptando e melhorando. Isso ajuda os robôs a desenvolver habilidades motoras grossas e finas sofisticadas necessárias para tarefas de automação do mundo real, como agarrar novos objetos, andar quadrúpede e aprender habilidades complexas de manipulação.

Ao refinar continuamente as políticas de controle com base em recompensas e analisar suas ações, a RL também pode ajudar os robôs a se ajustarem a novas situações e desafios imprevistos, tornando-os mais adaptáveis para tarefas do mundo real.

Treinamento de RL Acelerado por GPU para Robótica

O treinamento tradicional baseado em CPU para RL de robôs pode ser caro, muitas vezes exigindo milhares de núcleos para tarefas complexas que aumentam os custos para as empresas de robôs. As GPUs NVIDIA enfrentam esse desafio com seus recursos de processamento paralelo, acelerando significativamente o treinamento do modelo RL em comparação com as CPUs.

As plataformas de computação da NVIDIA, incluindo ferramentas como o Isaac Lab, aproveitam o poder da GPU para simulações de física e cálculos de recompensa dentro do pipeline de RL. Isso elimina gargalos e agiliza o processo, facilitando uma transição mais suave da simulação para a implantação no mundo real.

Isaac Lab para Aprendizado por Reforço

O NVIDIA Isaac™ Lab é um framework modular construído no NVIDIA Isaac Sim™ que simplifica os workflows de treinamento de robôs, como reforço e aprendizado por imitação. Os desenvolvedores podem aproveitar os recursos mais recentes do Omniverse™ para treinar políticas complexas com percepção habilitada.

  • Construir Uma Cena: A primeira etapa é criar uma cena no Isaac Lab e importar ativos de robôs usando URDF ou MJCF. Aplique esquemas de física para simulação e integre sensores para treinamento de políticas baseadas em percepção.
  • Definir Tarefas de RL: Uma vez que a cena e o robô tenham sido configurados, o próximo passo é definir a tarefa de reforço que o agente fará. O ambiente (por exemplo, Baseado em Gerenciamento ou Workflow Direto) fornece o estado atual ou as observações do agente e executa as ações que ele fornece. O ambiente então responde aos agentes fornecendo os próximos estados.
  • Treinamento: a última etapa é definir os hiperparâmetros para treinamento e a arquitetura de política. O Isaac Lab fornece quatro bibliotecas RL para treinar os modelos com GPUs: StableBaselines3, RSL-RL, RL-Games e SKRL.
  • Escala: para dimensionar o treinamento em sistemas de várias GPUs e vários nós, os desenvolvedores podem usar o OSMO para orquestração desses trabalhos em uma infraestrutura híbrida.

O Project GR00T oferece aos desenvolvedores uma nova maneira de desenvolver especificamente robôs humanóides. O GR00T é um modelo de base de uso geral que pode ajudar a entender a linguagem, emular movimentos humanos e adquirir habilidades rapidamente por meio do aprendizado multimodal. Para saber mais e acessar o GR00T, inscreva-se no NVIDIA Humanoid Developer Program.

Ecossistema de Parceiros

Veja como nosso ecossistema está construindo suas próprias aplicações e serviços de robótica com base em aprendizado por reforço e tecnologias NVIDIA.

Comece Agora

O aprendizado por reforço para robótica é amplamente adotado pelos pesquisadores e desenvolvedores de hoje. Saiba mais sobre o NVIDIA Isaac Lab para aprendizado de robôs hoje mesmo.

Notícia