NVIDIA DLSS 3.5: Aprimorando Ray Tracing com AI. Em breve em: Alan Wake 2, Cyberpunk 2077: Phantom Liberty, Portal com RTX e muito mais!

A NVIDIA foi pioneira em hardware e software para AI que está impulsionando avanços incríveis em todos os setores. O NVIDIA DLSS , um dos nossos primeiros grandes algoritmos de AI, foi lançado há cinco anos e aumenta o desempenho usando a renderização neural, possibilitada pelos Tensor Cores dentro de cada GPU GeForce RTX.

Desde seu lançamento inicial, os modelos de AI por trás do DLSS continuaram aprendendo, levando a resultados ainda melhores e inovações que multiplicam ainda mais o desempenho:

Hoje, avançamos mais uma vez na tecnologia de renderização com a introdução do NVIDIA DLSS 3.5, apresentando Ray Reconstruction, um novo modelo de AI que cria imagens de Ray Tracing de alta qualidade para jogos e aplicações com Ray Tracing.

Assista a nossa conversa com o Vice-Presidente de Deep Learning Research, Bryan Catanzaro, para saber como o DLSS 3.5 funciona

Alan Wake 2 , Cyberpunk 2077 , Cyberpunk 2077: Phantom Liberty , Portal com RTX , Chaos Vantage , D5 Render e NVIDIA Omniverse estão adicionando suporte ao NVIDIA DLSS 3.5.

Veja você mesmo os benefícios nesse vídeo exclusivo do Cyberpunk 2077: Phantom Liberty, renderizado com DLSS 3.5 e Ray Tracing Completo:

“Graças à tecnologia inteligente do DLSS 3.5, alimentada pelo poder de renderização por AI, você pode curtir Cyberpunk 2077: Phantom Liberty  e seu mais novo local, Dogtown, em toda sua glória – com imagens mais nítidas, iluminação mais precisa e as taxas de quadros mais altas possíveis”. - Jakub Knapik, vice-presidente de arte, diretor de arte global, CD PROJEKT RED

Para apreciar os benefícios do Ray Reconstruction, vamos ver como funciona o ray tracing.

Primeiro, um mecanismo de jogo gera a geometria e os materiais de uma cena, todos com atributos de base física que afetam sua aparência e como a luz interage com eles. Uma amostra de raios é então capturada do ponto de vista da câmera, determinando as propriedades das fontes de luz em uma cena e como a luz reage quando atinge os materiais. Por exemplo, se os raios atingirem um espelho, serão gerados reflexos.

No entanto, fotografar raios para cada pixel em sua tela é muito exigente em termos computacionais, mesmo para renderizadores off-line que calculam cenas ao longo de vários minutos ou horas. Em vez disso, amostras de raios devem ser usadas - elas disparam um punhado de raios em vários pontos da cena para obter uma amostra representativa da iluminação, refletividade e sombreamento da cena.

A saída é uma imagem ruidosa e manchada com lacunas, boa o suficiente para determinar como a cena deve parecer quando utilizado ray tracing.

Para preencher os pixels ausentes que não foram feitos por ray tracing, os denoisers ajustados à mão usam dois métodos diferentes, acumulando pixels temporariamente em vários quadros e interpolando-os espacialmente para misturar os pixels vizinhos. Por meio desse processo, a saída bruta ruidosa é convertida em uma imagem com ray tracing.

Esses denoisers são ajustados manualmente e processados ​​para cada tipo de iluminação ray tracing presente em uma cena, adicionando complexidade e custo ao processo de desenvolvimento e reduzindo a taxa de quadros em jogos altamente ray tracing, onde vários denoisers operam simultaneamente para maximizar a qualidade da imagem .

Cada denoiser ajustado à mão acumula pixels de vários quadros para aumentar os detalhes, roubando raios do passado, mas com o risco de introduzir fantasmas, remover efeitos dinâmicos e reduzir a qualidade de outros. Ele também interpola os pixels vizinhos e mescla essas informações, mas corre o risco de mesclar informações muito detalhadas ou não mesclar o suficiente e criar efeitos de iluminação não uniformes.

O upscaling é o último estágio do pipeline de iluminação ray tracing e é a chave para experimentar os jogos mais detalhados e exigentes em taxas de quadros rápidas. Mas com a remoção de ruído ou diminuição da qualidade dos efeitos, as limitações dos denoisers ajustados à mão são amplificadas, removendo detalhes finos (referidos como informações de alta frequência) que os upscalers usam para produzir uma imagem nítida e limpa.

A solução: NVIDIA DLSS 3.5. Nossa mais recente inovação, Ray Reconstruction, faz parte de um renderizador neural aprimorado alimentado por AI que melhora a qualidade da imagem do ray tracing para todas as GPUs GeForce RTX, substituindo denoisers ajustados manualmente por uma rede de AI treinada por supercomputador NVIDIA que gera pixels de maior qualidade em entre os raios.

Treinado com 5 vezes mais dados do que o DLSS 3, o DLSS 3.5 reconhece diferentes efeitos do ray tracing para tomar decisões mais inteligentes sobre o uso de dados temporais e espaciais e para reter informações de alta frequência para upscaling de qualidade superior.

Treinado usando imagens renderizadas off-line, que exigem muito mais poder computacional do que pode ser fornecido durante um jogo em tempo real, o Ray Reconstruction reconhece padrões de iluminação a partir de dados de treinamento, como iluminação global ou oclusão de ambiente, e os recria no jogo como você joga. Os resultados são superiores ao uso de denoisers ajustados à mão.

No Portal com RTX, com DLSS OFF, o denoiser luta com a interpolação espacial, onde não está misturando pixels suficientes, criando um efeito manchado. Além disso, não está acumulando pixels bons o suficiente dos quadros anteriores e o resultado é um efeito de ebulição na luz. Com o DLSS 3.5, ele reconhece certos padrões associados a reflexos e mantém a imagem estável, acumulando pixels precisos enquanto mescla pixels vizinhos para gerar reflexos de alta qualidade.

Na cena a seguir de Cyberpunk 2077, a iluminação imprecisa do farol que envolve o carro é resultado do denoiser ajustado à mão que extrai efeitos de iluminação imprecisos de quadros anteriores. O DLSS 3.5 gera iluminação com precisão, para que você possa distinguir o facho dos faróis e ver a luz refletida no meio-fio na frente do carro.

As ruas de Night City no Cyberpunk 2077 estão repletas de reflexos de outdoors giratórios e luzes de neon. Ao ativar o DLSS 3.5, sua qualidade e clareza são amplamente aprimoradas em toda a cidade:

As aplicações criativas têm uma ampla variedade de conteúdo que são difíceis para os denoisers tradicionais, pois exigem ajuste manual por cena. Como resultado, ao visualizar o conteúdo, você obtém uma qualidade de imagem abaixo do ideal. Com o DLSS 3.5, a rede neural AI é capaz de reconhecer uma ampla variedade de cenas, produzindo imagens de alta qualidade durante a visualização e antes de dedicar horas a uma renderização final. O D5 Render , um aplicativo líder do setor para arquitetos e designers, estará disponível com o DLSS 3.5 em breve.

“A integração do DLSS Ray Reconstruction com o D5 Render marca nossa terceira colaboração técnica com a NVIDIA, seguindo o DLSS SR e o FG, que aprimora ainda mais a qualidade da imagem dos recursos de renderização em tempo real do D5 Render. Estamos ansiosos para explorar mais possibilidades com a NVIDIA no futuro.” - Jessie Huang, vice-presidente, chefe de marketing, D5 Render

Com o DLSS 3.5, estamos oferecendo uma experiência melhor e mais rápida como uma atualização gratuita, aproveitando os aprimoramentos muito apreciados já disponíveis em seus jogos favoritos.

Graças ao RTX, você efetivamente tem o poder de 2 computadores em seu PC ou notebook - o primeiro, um supercomputador NVIDIA que treina o modelo DLSS AI com bilhões de pontos de dados, para aumentar o desempenho e a qualidade da imagem. E a segunda, sua placa de vídeo GeForce RTX, com núcleos tensores dedicados para executar o modelo AI em tempo real, além de núcleos RT especializados, inovações como Shader Execution Reordering e o poder bruto de cada GPU RTX, oferecendo o melhor do ray tracing.

No Cyberpunk 2077, o ray tracing completo fornecido pelo Modo Overdrive não poderia ser alcançado sem problemas se não fosse o poder da AI. DLSS Super Resolution (SR), reconstrói a imagem 4K a partir de uma entrada de resolução mais baixa, proporcionando um aumento dramático no desempenho e excelente qualidade de imagem. 

Para aumentar ainda mais o desempenho nos momentos mais exigentes e cheios de ação, ativamos o DLSS Frame Generation (FG) nas GPUs GeForce RTX Série 40, que analisa quadros sequenciais para criar quadros adicionais aumentando ainda mais a suavidade.

E agora, o NVIDIA DLSS 3.5 melhora ainda mais a qualidade da imagem nos efeitos do ray tracing, substituindo vários denoisers ajustados manualmente por Ray Reconstruction (RR).

Combinando o Super Resolution, Geração de Quadros e Ray Reconstruction, o DLSS 3.5 multiplica as taxas de quadros no Cyberpunk 2077 em um total de 5X em comparação com a renderização 4K DLSS OFF nativa.

Observe que os jogos com múltiplos efeitos de ray tracing podem ter vários denoisers que são substituídos pela única rede neural de reconstrução de raio. Nesses casos, Ray Reconstruction também pode oferecer um aumento de desempenho. Em títulos com ray tracing menos intensivo e menos denoisers, Ray Reconstruction melhora a qualidade da imagem, embora possa ter um pequeno custo de desempenho.

Os usuários da GeForce RTX Série 40 podem combinar Super Resolution e Frame Generation com Ray Reconstruction para desempenho e qualidade de imagem de tirar o fôlego, enquanto os usuários da GeForce RTX 20 e 30 Series podem adicionar Ray Reconstruction ao seu arsenal aprimorado por AI junto com Super Resolution e DLAA.

Ray Reconstruction é uma nova opção para os desenvolvedores melhorarem a qualidade de imagem de seus títulos com ray tracing e é oferecido como parte do DLSS 3.5. Os jogos rasterizados com DLSS 3.5 também incluem nossas atualizações mais recentes para Super Resolution e DLAA, mas não se beneficiarão do ray reconstruction devido à falta de efeitos de ray tracing.

O DLSS 3.5 chegará em breve nos principais jogos e aplicações

O NVIDIA DLSS 3.5 estará disponível em breve em: Alan Wake 2 , Cyberpunk 2077 , Cyberpunk 2077: Phantom Liberty , Portal with RTX , Chaos Vantage , D5 Render e NVIDIA Omniverse. Acesse nosso artigo de anúncio de jogos e aplicações na Gamescom 2023 para saber mais sobre a integração do DLSS 3.5 em cada um desses títulos.

Há cinco anos iniciamos uma jornada revolucionária: redefinir gráficos com renderização neural e inteligência artificial. O DLSS percorreu um longo caminho e hoje o DLSS ON é a melhor maneira de jogar. As experiências mais imersivas e realistas agora dependem do poder de AI, mas o impacto transformador de AI ​​nos gráficos está apenas começando e mal podemos esperar para ver onde estaremos daqui a cinco anos.

Enquanto isso, aprimore sua experiência usando o NVIDIA DLSS em mais de 330 jogos e aplicativos lançados. Novos jogos DLSS são lançados quase toda semana, cujas novidades podem ser encontradas aqui - basta retornar à nossa página DLSS toda semana para saber mais sobre os últimos lançamentos e integrações; esta semana na Gamescom 2023, anunciamos novos jogos com DLSS 3, incluindo Call of Duty: Modern Warfare III, PAYDAY 3, Fortnite e o já mencionado Alan Wake 2. E em cada jogo com DLSS 3, você também poderá aproveitar o NVIDIA Reflex para tornar a gameplay ainda mais responsiva. Saiba mais aqui .

Para ver nossos outros anúncios da Gamescom 2023, acesse aqui.