물리 AI
NVIDIA Cosmos
세계 파운데이션 모델을 사용하여 물리 AI 개발을 가속화합니다.
개요
NVIDIA Cosmos 란 무엇인가요?
NVIDIA CosmosTM는 최첨단 생성형 세계 파운데이션 모델(WFM), 고급 토큰라이저, 가드레일, 가속 데이터 처리 및 큐레이션 파이프라인으로 구성된 플랫폼으로 자율주행 차량(AV) 및 로봇과 같은 물리 AI 시스템의 개발을 가속화하기 위해 구축되었습니다.
이점
세계 파운데이션 모델을 이용한 물리 AI 개발 가속화
Cosmos는 개발자들에게 고성능 세계 파운데이션 모델 과 데이터 파이프라인에 대한 개방적이고 쉬운 액세스를 제공하여 모든 사람이 물리 AI 개발에 액세스할 수 있도록 합니다.
모델
NVIDIA Cosmos 세계 파운데이션 모델
물리 AI 개발을 위해 물리학 인식 비디오 및 세계 상태를 생성하기 위해 특별히 제작된 사전 훈련된 모델 제품군입니다.
여기에서 모델 아키텍처, 개발 리소스 및 가용성에 대해 자세히 알아보세요.
최첨단 모델의 제품군
- 텍스트-투-월드 및 비디오-투-월드 생성용 자동 회귀 및 확산 모델은 다양한 요구에 맞게 4~140억 사이의 매개 변수 크기로 제공됩니다.
- 텍스트 프롬프트를 개선하여 생성된 출력에서 정확도와 세부 사항을 향상시킬 수 있는 120억 파라미터 업 샘플링 모델.
- 증강 현실 애플리케이션에 최적화된 비디오 시퀀스를 디코딩하기 위해 설계된 70억 파라미터 모델.
붙박이 난간
- 브랜드, NSFW 콘텐츠 및 유해한 프롬프트를 필터링하기 위해 사전 보호.
- 의심스러운 시나리오를 제거하기 위해 포스트 가드.
- 인간의 얼굴을 흐리게 하는 가드레일.
- NVIDIA API 카탈로그의 Preview API에서 생성된 합성 비디오의 디지털 워터마크.
벤치마크
육체적 인공지능 성능으로의 여정
NVIDIA는 로봇 및 자율주행 차량 생태계와 협력하여 세계 파운데이션 모델에서 물리 AI 애플리케이션의 고유한 요구 사항을 반영하는 벤치마크 세트를 개발하고 있습니다.
Cosmos 벤치마크는 로봇 공학 및 자율 시스템에 필수적인 3D 일관성 및 물리 정렬과 같은 고급 기준을 통해 차세대 세계 모델을 평가하도록 설계되었습니다.
비디오 합성을 위한 기본 생성 모델인 비디오LDM(VLDM)과 비교했을 때, Cosmos WFM은 샘슨 에러가 낮고 시간적 안정성이 뛰어나 기하학적 정확도가 우수합니다. 또한 벤치마크는 중력 및 충돌 역학과 같은 물리적 동작을 기반으로 WFM을 평가합니다.
Cosmos WFM은 시각적 일관성 측면에서 VLDM을 지속적으로 능가하며 최대 14배 높은 포즈 추정 성공률을 달성합니다. 디퓨전 모델은 기본적으로 더 높은 충실도를 제공하는 반면, 자동 회귀 모델은 커스텀 모델에 탁월한 성능을 제공합니다.
활용 사례
개발자들이 NVIDIA Cosmos를 사용하는 방법
로봇, 자율주행 차량, 비전 AI 등의 개발자가 Cosmos를 사용하여 업무를 발전시키는 방법을 알아보세요.
-
비디오
-
제어 가능한 3D-to-Real
-
정책 모델
-
예측
-
Multiverse 시뮬레이션
비디오
Cosmos는 개발자가 AI 모델 교육을 위해 맞춤형 데이터 세트를 구축하도록 돕습니다. 자율주행차의 눈이 덮인 도로 영상이든, 로봇 공학을 위한 바쁜 창고 장면이든, Cosmos는 공간 및 시간 패턴을 이해함으로써 비디오 태그 및 검색을 간소화하여 훈련 데이터 준비를 더 쉽게 합니다.
이를 통해 시간과 비용을 절감하고, 실제 사용에 매우 관련성이 높고 영향력 있는 AI 모델을 제공할 수 있습니다.
에코시스템
선도적인 물리 AI를 채택한 혁신 기업
로봇, 자율주행차, 비전 AI 산업의 모델 개발자들은 Cosmos를 사용하여 물리 AI 개발을 가속화하고 있다.