오픈 소스 제작자 툴킷으로의 NVIDIA RTX Remix

NVIDIA RTX Remix는 모더가 풀 레이 트레이싱, DLSS 3.5, 매우 상세한 에셋, 물리적으로 정확한 머티리얼을 통해 DirectX 8 및 DirectX 9 기반의 고전 게임을 리마스터링할 수 있도록 지원합니다. NVIDIA Omniverse를 기반으로 구축된 RTX Remix는 런타임 렌더러와 게임 에셋, 그리고 머티리얼의 모딩을 용이하게 하는 툴킷 앱으로 구성됩니다.

작년에 NVIDIA는 RTX Remix Runtime을 오픈 소스화하여 모더가 게임 호환성을 확장하고 렌더링 기능을 최신화할 수 있도록 했습니다. 6월 말에 출시될 NVIDIA는 RTX Remix 툴킷을 오픈 소스화하여 모더가 에셋 교체와 장면 재조명 방법을 간소화하고, RTX Remix의 에셋 수집기에 대해 지원되는 파일 형식을 늘리고, 새로운 모델로 RTX Remix의 AI 텍스처 도구를 강화할 수 있도록 할 것입니다.

또한 NVIDIA는 REST API를 통해 RTX Remix Toolkit의 기능에 액세스할 수 있도록 하여 모더가 RTX Remix를 Blender와 같은 다른 DCC 도구, Hammer와 같은 모딩 도구, ComfyUI와 같은 생성형 AI 앱에 라이브링크할 수 있도록 합니다. NVIDIA는 또한 모더가 RTX Remix의 렌더러를 DirectX 8 & 9 기반의 고전 게임을 비롯한 다수의 애플리케이션과 게임에 배포할 수 있도록 RTX Remix 런타임용 SDK를 제공하고 있습니다.

올해 초 RTX Remix 툴킷이 출시된 이후 20,000명의 모더가 이를 사용해 고전 게임을 모딩하는 테스트를 진행하였으며, 그 결과 RTX Remix Showcase Discord에서 100개 이상의 RTX 리마스터가 개발되었습니다. RTX Remix 플랫폼을 지속적으로 개방함으로써 NVIDIA는 전 세계 모더들이 훨씬 더 놀라운 RTX 리마스터 게임을 구축할 수 있도록 지원하고 영감을 주는 것을 목표로 하고 있습니다.

RTX Remix 플랫폼은 오픈 소스 툴킷, Remix Runtime SDK 및 REST API로 열립니다.

RTX Remix의 REST API 소개

개발자는 REST API를 사용하여 RTX Remix를 다른 DCC 애플리케이션과 연결할 수 있습니다. RTX Remix 툴킷이 백그라운드에서 실행되는 동안 애플리케이션은 모든 기능과 긴밀하게 작동할 수 있습니다. 예를 들어, 개발자는 Blender를 RTX Remix에 연결하고 RTX Remix의 뷰포트에서 선택한 원본 게임 에셋을 즉시 가져오는 Blender의 버튼을 디자인할 수 있습니다.

에셋이 새로 디자이되면 RTX Remix REST API를 사용하여 자동으로 교체를 실행하여 Blender에 저장한 후 게임에 자동으로 나타날 수 있습니다. 또는 Hammer와 같은 Mod 도구에 대한 수십 년의 경험이 있는 Modder는 RTX Remix와 라이브 링크를 구축하여 대신 RTX Remix로 Hammer의 자산 교체 기능을 업그레이드할 수 있습니다.

RTX Remix REST API의 가능성을 보여주기 위해 RTX Remix를 ComfyUI의 생성형 AI 생태계와 연결했습니다. RTX Remix 모더는 RTX Remix ComfyUI 노드를 다운로드할 수 있어 모더가 AI 아트 작업을 크게 가속화할 수 있습니다.

미술 경험이나 시간이 부족한 모더로 구성된 소규모 모드 팀의 경우 생성형 AI가 생명을 구할 수 있습니다. 이는 RTX Remix의 풀 레이 트레이싱과 함께 작동하는 물리적으로 정확한 머티리얼과 고해상도로 게임 텍스처의 넓은 부분을 리마스터링하는 데 도움이 되며, 완벽한 품질로 영웅 에셋을 직접 제작하는 데 소요되는 모더 시간을 절약할 수 있습니다. 그리고 수십 명의 아티스트로 구성된 대규모 팀의 경우 AI 생성형 텍스처가 완벽한 자리 표시자를 만들어 각 에셋에 대해 손으로 만든 대체품을 제작하는 동시에 조명을 조정할 수 있습니다.

이제 GeForce RTX와 NVIDIA RTX GPU의 Tensor 코어에 의해 가속화되는 ComfyUI를 사용하여 텍스처 교체 속도가 훨씬 빨라졌습니다.

NVIDIA TensorRT는 ComfyUI 이미지 생성을 60% 가속화하여 RTX에서 Stable Diffusion 워크플로우를 더욱 빠르게 만듭니다.

REST API 통합을 통해 RTX Remix에서 캡처한 모든 게임 텍스처를 ComfyUI로 원활하게 내보내고 AI 모델 업스케일링 또는 PBR 추가를 사용하여 하나의 큰 배치로 향상시킬 수 있습니다.  ComfyUI는 선택할 수 있는 다양한 초해상도 및 PBR 모델을 제공하여 8배 이상의 해상도 증가 기능을 제공하며, 메탈릭 및 높이 맵이 포함된 PBR 모델도 제공합니다. 또한 ComfyUI를 사용하면 모더는 텍스트 프롬프트를 사용하여 텍스처의 새로운 세부 정보를 생성하거나 단일 텍스트 프롬프트로 전체 장면의 모양을 변경하여 스타일리쉬한 출발을 할 수 있습니다.

REST API를 통해 Remix 및 ComfyUI에서 지원되는 워크플로우의 예시

단일 파일을 관리할 필요 없이 RTX Remix에서 몇 가지 텍스처를 선택하고, ComfyUI에 프롬프트를 입력하고, 해당 에셋의 모든 인스턴스에 대해 게임에서 발생하는 변경 사항을 관찰하는 것만큼 좋은 것은 없습니다.

ComfyUI로 처리된 Half Life 2의 텍스처 테스트 - 4K 전체 화면 비교를 로드하려면 클릭하세요.

Portal with RTX의 테스트 장면에서 저희는 전체 게임에 걸쳐 5개의 텍스처를 리마스터링할 수 있었습니다. 기존 모드 도구를 사용했다면 며칠 또는 몇 주가 걸렸을 작업입니다. 일부 AI 모델은 훨씬 더 빠르게 실행되어 몇 초 만에 결과를 산출합니다.

ComfyUI로 처리된 포털의 텍스처 테스트 - 4K 전체 화면 비교를 로드하려면 클릭하세요.

ComfyUI 및 RTX Remix의 REST API와의 새로운 통합 덕분에 AI를 활용하는 RTX Remix 모드가 이전보다 더 빠르고, 더 좋아 보이고, 더 많은 시각적 스타일을 채택할 것으로 기대합니다.

ComfyUI를 통해 AI 및 텍스트 프롬프트로 스타일이 변경된 텍스처

지금 RTX Remix 베타를 다운로드하세요

고전 게임을 위한 자신만의 레이 트레이싱 모드를 만들고 싶다면 지금 NVIDIA RTX Remix Beta를 다운로드할 수 있으며, 전체 튜토리얼 비디오 세트를 통해 프로세스를 안내받을 수 있습니다. 오픈 소스 툴킷, RTX Remix Rest API 및 ComfyUI 통합은 6월 말에 업데이트될 예정입니다. 최신 RTX Remix 모드를 찾으려면 ModDB를 확인하고, Adobe Substance와 Blender와 같은 RTX 가속 소프트웨어에 대해 자세히 알아보려면 NVIDIA Studio를 방문하세요.

저희는 모더와 개발자가 어떻게 완전 개방형 RTX Remix 플랫폼을 기반으로 구축하고, 함께 작동하는 게임 및 애플리케이션의 생태계를 확장하는지 보고 싶습니다. 향후 RTX Remix 개발에 대한 소식을 보려면 GeForce.com을 계속 지켜봐 주시기 바랍니다. 또한 다른 Computex 2024 발표를 확인하여 NVIDIA가 AI 및 NVIDIA RTX 기술을 통해 게이밍과 크리에이티브 경험을 어떻게 혁신시키고 있는지 확인하세요.