NVIDIA DLSS 3.5: AI로 레이 트레이싱 향상; 올 가을 출시 Alan Wake 2, Cyberpunk 2077: Phantom Liberty, Portal with RTX 등

NVIDIA는 모든 산업에서 놀라운 혁신을 주도하는 AI 하드웨어 및 소프트웨어를 개척했습니다. NVIDIA 첫 번째 주요 AI 알고리즘 중 하나인 NVIDIA DLSS는 5년 전에 도입되었으며 각 GeForce RTX GPU 내부의 Tensor 코어로 가능해진 뉴럴 렌더링을 사용하여 성능을 향상시킵니다.

초기 릴리스 이후 DLSS 이면의 AI 모델은 계속 학습하여 더 나은 결과와 성능을 더욱 배가시키는 새로운 혁신으로 이어졌습니다.

NVIDIA DLSS 3.5가 도입되어 렌더링 기술을 한 번 더 발전시켰습니다. 광선 재구성(Ray Reconstruction)은 집약적인 레이 트레이싱 게임 및 앱을 위한 고품질 레이 트레이싱 이미지를 생성하는 새로운 AI 모델입니다.

DLSS 3.5의 작동 방식을 알아보려면 Applied Deep Learning Research 부사장인 Bryan Catanzaro와 함께하는 기술 토크를 시청하세요.

Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render 및 NVIDIA Omniverse는 모두 이번 가을에 NVIDIA DLSS 3.5 지원이 추가될 예정입니다.

DLSS 3.5와 풀 레이 트레이싱으로 렌더링된 Cyberpunk 2077: Phantom Liberty의 새로운 트레일러 영상에서 그 이점을 직접 확인하세요.

"AI 렌더링 성능을 기반으로 하는 DLSS 3.5의 스마트 기술 덕분에 Cyberpunk 2077: Phantom Liberty의 최신 위치인 Dogtown을 최상의 상태로 경험할 수 있습니다. 더 선명한 이미지, 더 정확한 조명 및 가능한 가장 높은 프레임 속도를 제공합니다." - Jakub Knapik, 예술 부사장, CD PROJEKT RED 글로벌 아트 디렉터

광선 재구성(Ray Reconstruction)의 장점을 이해하기 위해 레이 트레이싱 기술이 작동하는 방식을 살펴보겠습니다.

첫째, 게임 엔진은 장면의 형상과 재질을 생성합니다. 이 모든 것에는 모양과 빛이 상호 작용하는 방식에 영향을 미치는 물리적 기반 속성이 있습니다. 그런 다음 카메라의 관점에서 광선 샘플을 촬영하여 장면에서 광원의 속성과 빛이 재료에 닿을 때 반응하는 방식을 결정합니다. 예를 들어 광선이 거울에 닿으면 반사가 생성됩니다.

그러나 몇 분 또는 몇 시간 동안 장면을 계산하는 오프라인 렌더러의 경우에도 화면의 모든 픽셀에 대해 광선을 쏘는 것은 너무 많은 계산이 필요합니다. 따라서 대신 광선 샘플을 사용해야 합니다. 이 샘플은 장면의 조명, 반사도 및 그림자의 대표적인 샘플을 위해 장면 전체의 다양한 지점에서 소수의 광선을 발사합니다.

출력은 간격이 있는 잡음이 많고 얼룩덜룩한 이미지로 광선 추적 시 장면이 어떻게 표시되어야 하는지 확인하기에 충분합니다.

레이 트레이싱되지 않은 누락된 픽셀을 채우기 위해 손으로 조정한 노이즈 제거기는 두 가지 다른 방법을 사용합니다. 즉, 여러 프레임에 걸쳐 픽셀을 일시적으로 축적하고 이를 공간적으로 보간하여 인접한 픽셀을 혼합합니다. 이 프로세스를 통해 노이즈가 있는 원시 출력이 광선 추적 이미지로 변환됩니다.

이러한 잡음 제거기는 장면에 있는 각 유형의 광선 추적 조명에 대해 수동으로 조정 및 처리되므로 개발 프로세스에 복잡성과 비용이 추가되고 이미지 품질을 최대화하기 위해 여러 잡음 제거기가 동시에 작동하는 고도의 광선 추적 게임에서 프레임 속도가 감소합니다.

손으로 조정한 각 디노이저는 세부 정보를 높이기 위해 여러 프레임의 픽셀을 축적하여 사실상 과거의 광선을 훔치지만 고스팅을 도입하고 동적 효과를 제거하며 다른 것의 품질을 저하시킬 위험이 있습니다. 또한 인접 픽셀을 보간하고 정보를 함께 혼합하지만 너무 많은 세부 정보를 혼합하거나 충분히 혼합하지 않고 균일하지 않은 조명 효과를 생성할 위험이 있습니다.

업스케일링은 광선 추적 조명 파이프라인의 마지막 단계이며 빠른 프레임 속도에서 가장 섬세하고 까다로운 게임을 경험하는 데 핵심입니다. 그러나 디노이즈 제거 또는 효과 품질 저하로 수동 조정 디노이저의 한계가 증폭되어 업스케일러가 선명하고 깨끗한 이미지를 출력하는 데 사용하는 미세한 디테일(고주파 정보라고 함)이 제거됩니다.

솔루션: NVIDIA DLSS 3.5. 최신 혁신 기술인 광선 재구성은 향상된 AI 기반 뉴럴 렌더러의 일부로, 조정한 디노이저를 샘플링된 광선 사이에 더 높은 품질의 픽셀을 생성하는 NVIDIA 슈퍼컴퓨터 훈련 AI 네트워크로 대체하여 모든 GeForce RTX GPU의 레이 트레이싱 이미지 품질을 개선시킵니다.

DLSS 3보다 5배 더 많은 데이터로 훈련된 DLSS 3.5는 다양한 광선 추적 효과를 인식하여 시간 및 공간 데이터 사용에 대해 더 현명한 결정을 내리고 우수한 품질의 업스케일링을 위해 고주파 정보를 유지합니다.

실시간 게임 중에 제공할 수 있는 것보다 훨씬 더 많은 계산 능력이 필요한 오프라인 렌더링 이미지를 사용하여 훈련된 Ray Reconstruction은 전역 조명 또는 주변 폐색과 같은 훈련 데이터에서 조명 패턴을 인식하고 이를 게임 내에서 다음과 같이 재현합니다. 당신은 재생합니다. 결과는 손으로 조정한 노이즈 제거기를 사용하는 것보다 우수합니다.

Portal with RTX에서 DLSS가 꺼진 상태에서 디노이저는 충분한 픽셀을 혼합하지 않아 얼룩진 효과를 생성하는 공간 보간과 씨름합니다. 또한 이전 프레임에서 충분한 양의 픽셀을 축적하지 않아 빛에 비등 효과가 나타납니다. DLSS 3.5를 사용하면 반사와 관련된 특정 패턴을 인식하고 이미지를 안정적으로 유지하여 정확한 픽셀을 축적하는 동시에 주변 픽셀을 혼합하여 고품질 반사를 생성합니다.

Cyberpunk 2077의 다음 장면에서 자동차를 둘러싸고 있는 부정확한 헤드라이트 조명은 이전 프레임에서 부정확한 조명 효과를 가져오는 손으로 조정한 노이즈 제거기의 결과입니다. DLSS 3.5는 조명을 정확하게 생성하므로 헤드라이트 빔을 식별하고 차량 앞 커브에 빛이 반사되는 것을 볼 수 있습니다.

Cyberpunk 2077의 나이트 시티의 거리는 회전하는 광고판과 네온 불빛의 반사광으로 가득 차 있습니다. DLSS 3.5를 활성화하면 품질과 선명도가 도시 전체에서 크게 향상됩니다.

크리에이티브 애플리케이션에는 장면마다 수동 조정이 필요하기 때문에 기존 디노이저로는 어려운 다양한 콘텐츠가 있습니다. 결과적으로 콘텐츠를 미리 볼 때 차선의 이미지 품질을 얻게 됩니다. DLSS 3.5를 사용하면 AI 신경망이 다양한 장면을 인식할 수 있어 미리 보기 중과 최종 렌더링에 몇 시간이 걸리기 전에 고품질 이미지를 생성할 수 있습니다. 건축가와 디자이너를 위한 업계 최고의 앱인 D5 Render는 올 가을 DLSS 3.5와 함께 사용할 수 있습니다.

“DLSS Ray Reconstruction과 D5 Render의 통합은 DLSS SR 및 FG에 이어 NVIDIA와의 세 번째 기술 협력을 의미하며 D5 Render의 실시간 렌더링 기능의 이미지 품질을 더욱 향상시킵니다. 앞으로 NVIDIA와 함께 더 많은 가능성을 모색할 수 있기를 기대합니다.” - Jessie Huang, VP, 마케팅 책임자, D5 Render

DLSS 3.5를 통해 우리는 좋아하는 게임에서 이미 사용할 수 있는 많은 사랑을 받은 개선 사항을 기반으로 더 빠르고 더 나은 경험을 무료 업그레이드로 제공하고 있습니다.

RTX 덕분에 PC 또는 노트북에서 컴퓨터 2대의 성능을 효과적으로 활용할 수 있습니다. 첫 번째는 성능과 이미지 품질을 높이기 위해 수십억 개의 데이터 포인트로 DLSS AI 모델을 교육하는 NVIDIA 슈퍼컴퓨터입니다. 두 번째는 콘텐츠에서 AI 모델을 실행하는 전용 텐서 코어와 특수 RT 코어, Shader Execution Reordering과 같은 혁신, 각 RTX GPU의 원시 성능을 갖춘 GeForce RTX 그래픽 카드로 동급 최고의 성능을 제공합니다. 광선 추적.

Cyberpunk 2077에서 오버드라이브 모드가 제공하는 아름다운 풀 레이 트레이싱은 AI의 힘 없이는 원활하게 달성될 수 없었습니다. DLSS Super Resolution(SR)은 저해상도 입력에서 4K 이미지를 재구성하여 극적인 성능 향상과 뛰어난 이미지 품질을 제공합니다.

가장 까다롭고 액션으로 가득 찬 순간에 성능을 더욱 향상시키기 위해 GeForce RTX 40 시리즈 GPU에서 DLSS 프레임 생성(FG)을 활성화하여 순차 프레임을 분석하여 추가 프레임을 생성하여 부드러움을 더욱 높입니다.

그리고 이제 NVIDIA DLSS 3.5는 수동으로 조정된 여러 디노이저를 Ray Reconstruction(RR)으로 대체하여 광선 추적 효과의 이미지 품질을 더욱 향상시킵니다.

초고해상도, 프레임 생성 및 광선 재구성을 결합한 DLSS 3.5는 Cyberpunk 2077 프레임 속도를 기본 4K DLSS OFF 렌더링에 비해 총 5배 증가시킵니다.

다중 광선 추적 효과가 있는 게임에는 단일 광선 재구성 신경망으로 대체되는 여러 노이즈 제거기가 있을 수 있습니다. 이러한 경우 광선 재구성은 성능 향상을 제공할 수도 있습니다. 덜 집약적인 레이 트레이싱과 더 적은 디노이저가 있는 타이틀에서 광선 재구성은 약간의 성능 비용이 있을 수 있지만 이미지 품질을 향상시킵니다.

GeForce RTX 40 시리즈 사용자는 초고해상도와 프레임 생성을 광선 재구성과 결합하여 놀라운 성능과 이미지 품질을 얻을 수 있으며 GeForce RTX 20 및 30 시리즈 사용자는 광선 재구성을 초고해상도와 DLAA와 함께 AI 기반 게이밍 장비에 더할 수 있습니다.

광선 재구성은 개발자가 광선 추적 타이틀의 이미지 품질을 개선할 수 있는 새로운 옵션이며 DLSS 3.5의 일부로 제공됩니다. DLSS 3.5를 특징으로 하는 래스터화된 게임에는 초고해상도 및 DLAA에 대한 최신 업데이트도 포함되어 있지만 광선 추적 효과가 없기 때문에 광선 재구성의 이점을 얻지 못할 것입니다.

DLSS 3.5가 이번 가을 주요 게임 및 앱에 출시됩니다.

NVIDIA DLSS 3.5는 올 가을 Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render 및 NVIDIA Omniverse에서 사용할 수 있습니다. 각각의 DLSS 3.5 통합에 대해 자세히 알아보려면 Gamescom 2023 RTX 게임 및 앱 발표 기사에서 확인하세요.

5년 전 NVIDIA 뉴럴 렌더링 및 인공 지능으로 그래픽을 재정의하는 혁신적인 여정을 시작했습니다. DLSS는 먼 길을 왔으며 오늘날 DLSS ON은 플레이하는 가장 좋은 방법입니다. 가장 실감나고 사실적인 경험은 이제 AI의 힘에 의존하지만 그래픽에 대한 AI의 혁신적인 영향은 이제 막 시작되었습니다. 저희는 지금으로부터 5년 후에 우리가 어디에 있을지 기대됩니다.

그동안 330개 이상의 출시된 게임 및 앱에서 NVIDIA DLSS를 사용하여 경험을 향상시키세요. 새로운 DLSS 게임은 거의 매주 출시되며 여기에서 뉴스를 확인할 수 있습니다. 매주 DLSS 페이지로 돌아가서 최신 릴리스 및 통합에 대해 알아보십시오. 이번 주 Gamescom 2023에서 우리는 Call of Duty: Modern Warfare III, PAYDAY 3, Fortnite 및 앞서 언급한 Alan Wake 2를 포함한 새로운 DLSS 3 게임을 발표했습니다. 그리고 각 DLSS 3 게임에서 NVIDIA Reflex를 활용하여 게임 플레이를 만들 수도 있습니다. 훨씬 더 반응이 좋습니다. 여기에서 모든 세부 정보를 얻으세요.

다른 Gamescom 2023 발표를 보려면 여기에서 확인하세요.