Simulação de Robótica

O NVIDIA Isaac Sim™ é uma aplicação de referência, construída no NVIDIA Omniverse™, que permite criar, treinar, testar e validar robôs com IA, como humanoides, robôs móveis autônomos (AMRs) e braços robóticos, inteiramente em ambientes simulados.

1. Importação de Ativos: use ativos existentes que foram construídos em ferramentas de software CAD 3D ou DCC. Esses ativos precisam ser convertidos para Universal Scene Description (OpenUSD) antes de serem usados no Isaac Sim.
2. Criação de Ambientes: depois que os ativos relevantes forem trazidos, crie um ambiente virtual, como um armazém ou uma fábrica. O objetivo aqui é representar o espaço com a maior precisão possível em relação ao mundo real, incluindo as cores, texturas e iluminação.
3. Adição de Robôs: uma vez que a cena foi configurada, os modelos de robôs podem ser trazidos por meio do Universal Robot Description Format (URDF). O URDF também inclui malhas visuais e as hierarquias primárias (relações pai-filho) e malhas de colisão de informações, articulações e sensores.
4. Adição de Física e Sensores: para interagir adequadamente no mundo real, os atributos físicos precisam ser atribuídos aos robôs. Simulações de física para corpos rígidos e corpos deformáveis, juntamente com articulações possibilitadas pelo mecanismo de física do NVIDIA® PhysX®, permitem que os robôs dominem a cinemática de seu ambiente. Tanto elementos visuais (por exemplo, câmera) quanto não visuais (lidar, radar, IMU etc.) também precisarão ser adicionados para capturar o comportamento do robô.
5. Interação: a etapa final desse processo é simular o robô ou os robôs nos diversos cenários espaço-temporais.

A simulação pode desbloquear novos casos de uso, inicializando o treinamento de modelos fundacionais ou acelerando o processo de ajuste de modelos de IA pré-treinados com a geração de dados sintéticos, ou SDG. Pode consistir em textos, imagens 2D ou 3D no espectro visual e não visual e até mesmo dados de movimento que podem ser usados em conjunto com dados do mundo real para treinar modelos multimodais de IA física.

A randomização de domínios é uma etapa-chave no workflow de SDG, na qual muitos parâmetros em uma cena podem ser alterados para gerar um conjunto de dados diverso, desde a localização, a cor, as texturas e a iluminação dos objetos. O aumento de dados na fase de pós-processamento diversifica ainda mais os dados gerados, adicionando defeitos, como desfoque localizado, pixelização, corte aleatório, inclinação e mistura.

Além disso, as imagens geradas são automaticamente anotadas e podem incluir RGB, caixas de delimitação, instância e segmentação semântica, profundidade, nuvem de pontos de profundidade, nuvem de pontos lidar e muito mais.

A aprendizagem de robôs é fundamental para garantir que eles possam executar habilidades robustas de forma repetida e eficiente no mundo físico. A simulação de alta fidelidade fornece um campo de treinamento virtual para os robôs aprimorarem suas habilidades por tentativa e erro ou por imitação. Isso garante que os comportamentos aprendidos pelo robô na simulação sejam mais facilmente transferíveis para o mundo real.

O NVIDIA Isaac™ Lab, um framework de código aberto, unificado e modular para aprendizagem de robôs, construída no NVIDIA Isaac Sim, simplifica os workflows comuns na aprendizagem em robótica, como aprendizagem por reforço, aprendizagem com demonstrações e planejamento de movimentos.

O software-in-loop (SIL) é uma etapa crítica de testes e validação no desenvolvimento de software para sistemas robóticos com IA física. No SIL, o software que controla o robô é testado em um ambiente simulado, e não no hardware real.

O SIL com simulação garante a modelagem precisa da física do mundo real, incluindo entradas de sensores, dinâmica do atuador e interações ambientais. Isso garante que o stack de software do robô se comporte na simulação da mesma forma que no robô físico, melhorando a validade dos resultados dos testes.

A geração de dados sintéticos, a aprendizagem e os testes de robôs são workflows altamente interdependentes e exigem uma orquestração cuidadosa em uma infraestrutura heterogênea. Os workflows de robótica também exigem especificações amigáveis para os desenvolvedores que eliminem a complexidade na configuração da infraestrutura, maneiras fáceis de rastrear dados e a linhagem de modelos e uma maneira segura de implantar essas cargas de trabalho.

O NVIDIA OSMO oferece uma plataforma de orquestração nativa em nuvem para escalar cargas de trabalho de robótica complexas, de vários estágios e multi-container, em nuvens locais, privadas e públicas.