NVIDIA RTX Remix 創作者開源Toolkit 現已推出

NVIDIA RTX Remix 讓模組製作者能夠利用完整的光線追蹤、DLSS 3.5、高度詳細的資產和實體精確的材質重新製作經典的 DirectX 8 和 DirectX 9 遊戲。 RTX Remix 基於 NVIDIA Omniverse 構建,由運行時渲染器和Toolkit應用程式組成,可促進遊戲資產和材質的修改。

去年,NVIDIA 開源了 RTX Remix Runtime,讓改裝者能夠擴展遊戲相容性提高渲染能力。現在,NVIDIA 開源了 RTX Remix Toolkit,讓模組製作者能夠簡化資產替換和場景重新點亮的方式,增加 RTX Remix 資產導入工具支持的文件格式,並透過新模型增強 RTX Remix 的 AI 材質工具。

此外,RTX Remix Toolkit 的功能現在可以透過 REST API ,允許改裝者將 RTX Remix 即時連結到其他 DCC 工具(例如 Blender)、改裝工具(例如 Hammer)以及生成 AI 應用程式(例如 ComfyUI)。 NVIDIA 也提供 RTX Remix 執行時間 SDK,讓改裝者將 RTX Remix 的渲染器部署到 DirectX 8 和 9 經典以外的其他應用程式和遊戲中。

自今年稍早推出 RTX Remix Toolkit 以來,已有 20,000 名改裝者嘗試使用它來改裝經典遊戲,從而在 RTX Remix Showcase Discord 上開發了 100 多個 RTX 重製版。透過持續開放 RTX Remix 平台,我們的目標是支持並激勵全球模組製作者打造更令人驚嘆的 RTX 重製版。

RTX Remix 平台開放開源Toolkit、Remix Runtime SDK 和 REST API

RTX Remix 的 REST API

開發人員現在可以使用 REST API 將 RTX Remix 與其他應用程式(包括 DCC 工具)連接。當 RTX Remix Toolkit 在背景運行時,應用程式可以與其任何功能同步運作。例如,開發人員可以將 Blender 連接到 RTX Remix,並在 Blender 中設計一個按鈕,用於立即匯入在 RTX Remix 視窗中選擇的原始遊戲資源。

一旦資源重新設計,一旦儲存在 Blender 中,它就可以自動出現在遊戲中,使用 RTX Remix REST API 自動執行替換。或者,在 Hammer 等模組工具方面擁有數十年經驗的改裝者可以與 RTX Remix 建立實時鏈接,從而使他們能夠使用 RTX Remix 來升級 Hammer 的資產替換功能。

為了示範 RTX Remix REST API 的可能性,我們將 RTX Remix 與 ComfyUI 的生成式 AI 生態系統連接起來。 RTX Remix 模組製作者現在可以下載 RTX Remix ComfyUI 節點,讓模組製作者能夠大幅加速 AI 藝術作業。

 

對於缺乏美術經驗或時間的改裝者的小型改裝團隊來說,生成式 AI 可以成為救星。它可以幫助他們以高解析度和物理精確的材質重新製作大片遊戲材質,並與 RTX Remix 的全光線追蹤配合使用,從而節省模組製作者的時間,讓他們可以花在手工製作更高品質的作品。對於擁有數十名藝術家的大型團隊來說, AI 生成的材質可以成為完美的佔位符,使他們能夠在為每個資產製作手工替代品的同時調節燈光。

使用 ComfyUI(現在由 GeForce RTX 和 NVIDIA RTX GPU 上的 Tensor Core 加速),材質替換現在速度顯著加快。

NVIDIA TensorRT 將 ComfyUI 影像產生速度加快了 60%,使穩定擴散工作流程在 RTX 上速度更快

透過我們的 REST API 集成,您可以將 RTX Remix 中捕獲的所有遊戲材質無縫匯出到 ComfyUI,並使用升級或添加 PBR 的 AI 模型批量增強它們。  ComfyUI 提供許多超解析度和 PBR 型號可供選擇,解鎖 8 倍或更多解析度提升的功能,以及包含金屬和高度貼圖的 PBR 型號。此外,ComfyUI 使模組製作者能夠使用文字提示在材質中產生新的細節,或者透過使用單一文字提示更改整個場景的外觀來實現巨大的風格背離。

Remix 和 ComfyUI 透過 REST API 支援的工作流程範例

沒有什麼比在 RTX Remix 中選擇少量材質、在 ComfyUI 中輸入提示並觀看遊戲中該資源的每個實例實時發生的變化更美妙的了,而無需管理單個文件。

before

測試 ComfyUI 處理的《戰慄時空 2 》材質 - 點擊加載 4K 全螢幕比較

在使用 RTX 的 Portal 中的測試場景中,我們能夠在幾分鐘內重新掌握整個遊戲中的 5 個材質,而使用傳統 Mod 工具需要花費數天或數週的時間才能完成這項任務。一些 AI 模型的運行速度甚至更快,只需幾秒鐘即可產生結果。

before

測試來自 ComfyUI 處理的 Portal 的材質 - 點擊加載 4K 全螢幕比較

由於與 ComfyUI 和 RTX Remix 的 REST API 的新集成,我們預計利用 AI 的 RTX Remix 模組會比以前更快、看起來更好,並採用更多的視覺風格。

第一張圖片是原始 Portal,下一張是透過 ComfyUI 的文字提示進行的樣式更改 

開始使用 ComfyUI 與 RTX Remix

我們創建了一個教學來幫助 ComfyUI 初學者如何使用強大的工具來幫助製作 RTX Remix mod。

 

首先,您需要下載 ComfyUI。與 RTX Remix 類似,ComfyUI 的最低規格為 GeForce RTX 3060 Ti,至少配備 8 GB VRAM。當同時執行 RTX Remix 和 ComfyUI 時,我們建議使用 12 GB VRAM 的 GPU,但您的結果可能會根據遊戲場景的強度和 ComfyUI 圖形所使用的模型而有所不同。

只需點擊標題為“download Link with stable pytorch 2.3 cu121”的連結即可。將下載的檔案解壓縮到目錄中,您將擁有最新版本的 ComfyUI。如果您已經安裝了 ComfyUI,我們建議您執行「update_comfyui.bat」來更新至最新版本。

您還需要下載由 RTX Remix REST API 提供支援的 RTX Remix 的 ComfyUI 節點。這些節點會自動執行許多 Remix 功能,其中一些包括:

  • 將選取的材質從 RTX Remix 視窗拉入 ComfyUI 進行 AI 處理
  • 將遊戲擷取中的每個材質提取到 ComfyUI 中進行 AI 處理
  • 擷取新產生的 ComfyUI 材質並在 RTX Remix 場景中自動取代它們
  • 管理層以實現乾淨的 AI 藝術工作流程

我們還提供了三個 ComfyUI 圖表,讓您輕鬆啟動 AI 驅動的重新製作。一張圖表即可實現高品質的升級和 PBR,讓您可以輕鬆升級遊戲的材質,同時保持其原始外觀。另一個圖表的重點是使藝術家能夠使用提示和圖像以大膽的新方式重新設計材質。最終圖表包含我們的標準 RTX Remix 節點集,是您自己的自訂 ComfyUI 圖表的良好起點。查看教學並在我們的開源 ComfyUI-RTX-Remix Github下載這些 ComfyUI 圖表

立即下載 RTX Remix 測試版

開源Toolkit、RTX Remix Rest API 和 ComfyUI 整合現已推出。如果您想為經典遊戲製作自己的光線追蹤模組,NVIDIA RTX Remix 測試版 現已可供下載,並提供全套教學影片來引導您完成整個過程。查看 ModDB 以查找最新的 RTX Remix mod,並訪問 NVIDIA Studio 以了解有關 RTX 加速軟體(例如 Adob​​e Substance 和 Blender)的更多資訊。

我們迫不及待地想看看模組製作者和開發者如何在完全開放的 RTX Remix 平台上進行構建,並擴展與其配合的遊戲和應用程式的生態系統。有關未來 RTX Remix 開發的新聞,請繼續關注 GeForce.com