NVIDIA DLSS 2.0: прорыв в рендеринге с ИИ

Алгоритмы искусственного интеллекта кардинально меняют игры: от моделированияфизики и анимации до рендеринга в реальном времени и продвинутых возможностей для стриминга. С технологией сглаживания методом обучения глубокой нейронной сети DLSS, NVIDIA переосмысливает рендеринг в реальном времени посредством основанного на ИИ супер-разрешения. С новой версией DLSS 2.0 мы добились больших успехов в достижении этой цели.

DLSS 2.0 — это новая усовершенствованная глубокая нейронная сеть, которая работает на тензорных ядрах, процессорах для работы с ИИ в видеокартах GeForce RTX. Она ускоряет частоту смены кадров и одновременно улучшает качество графики в играх. Технология предоставляет геймерам запас производительности для игры с максимальными настройками трассировки лучей и позволяет повысить разрешение изображения.

• Превосходное качество изображения. DLSS 2.0 обеспечивает качество изображения в полном разрешении при рендеринге всего половины пикселей. Технология использует методы временной обработки для повышения детализации и стабильности изображения от кадра к кадру.

• Отличное масштабирование на всех видеокартах GeForce RTX и во всех разрешениях Новая, более быстрая модель ИИ эффективнее использует тензорные ядра и работает в два раза быстрее оригинальной версии, повышая частоту смены кадров и устраняя ограничения на число поддерживаемых GPU, настроек качества и разрешений.

• Одна сеть для всех игр. Оригинальная DLSS требовала обучения ИИ под каждую новую игру. DLSS 2.0 предоставляет универсальную нейросеть, которая работает во всех играх. А значит, реализация технологии станет проще, и появится еще больше игр с DLSS.

• Настраиваемые параметры.DLSS 2.0 предлагает три режима качества изображения: «Качество», «Баланс», «Производительность», которые управляют внутренним разрешением рендеринга. Режим "Производительность" теперь обеспечивает 4Х супер-разрешение. У игроков появится больше возможностей выбора, а производительность станет еще выше.

Deliver Us the Moon. DLSS 2.0 существенно повышает производительность, при этом сохраняя, а иногда и улучшая, качество изображения.

Технология NVIDIA DLSS 2.0 уже доступна в Deliver Us The Moon, Wolfenstein: Youngblood, MechWarrior 5: Mercenaries и Control. Также, теперь разработчики на Unreal Engine 4 могут использовать технологию через программу DLSS Developer Program , которая позволит ускорить интеграцию технологии в игру на одном из самых популярных движков в мире. head Подробности читайте здесь.

Наш фреймворк NGX обучает глубокую нейронную сеть на десятках тысяч эталонных изображений высокого разрешения, созданных с помощью оффлайн-рендеринга на суперкомпьютере с низкой частотой смены кадров в разрешении 16К. Опираясь на данные в результате длительного обучения, нейросеть может использовать исходное низкокачественное изображение и создавать из него кадр в высоком разрешении.

Нейросеть DLSS 2.0 использует две основных входных структуры:

1. Изображения в низком разрешении без сглаживания, отрисованные игровым движком.
2. Векторы движения в низком качестве для тех же изображений, отрисованных игровым движком.

Векторы движения сообщают, в каком направлении объекты перемещаются от кадра к кадру. Эти векторы можно применить к предыдущему кадру в высоком разрешении, ранее созданном нейросетью, чтобы повысить разрешение текущего кадра. 

Архитектура DLSS 2.0

Специальный тип сети ИИ — сверточный автокодировщик — берет текущий кадр в низком разрешении, предыдущий кадр в высоком разрешении и попиксельно определяет, как создать текущий кадр в высоком разрешении.

При обучении сети выходное изображение сравнивается с эталонным в разрешении 16K, и данные о различиях передаются обратно в сеть. Это позволяет нейросети обучаться и улучшать свои результаты.

Оценить технологию DLSS 2.0 теперь можно в : Control, Deliver Us The Moon, MechWarrior 5: Mercenaries, Wolfenstein: Youngblood.

В 2019 году Control от Remedy Entertainment стала одной из лучших однопользовательских игр, а также наиболее передовых благодаря набору эффектов трассировки лучей которые выводят реализм в игре на новый уровень.

Изначально в Control была реализована предыдущая версия DLSS , которая с помощью алгоритма обработки изображений повышает частоту смены кадров более чем на 70%. 26 марта Remedy выпустила обновление, которое содержит новый загружаемый контент, а также новую версию DLSS 2.0 на базе ИИ.

«В Control мы решили создать визуально впечатляющий, реалистичный мир», — делится Мика Вехкала (Mika Vehkala), директор по технологиям в Remedy Entertainment. «Трассировка лучей в реальном времени и NVIDIA DLSS обеспечили потрясающую графику в Control, а обновление до DLSS 2.0 еще больше повысило качество изображения».

При тестировании DLSS 2.0 в режиме «Качество» повышает производительность до 76% в разрешении 1920x1080 и 2560x1440. В разрешении 4K (3840x2160) режим «Производительность» обеспечивает ускорение в 2-3 раза, что позволяет геймерам на GeForce RTX 2060 играть на максимальных настройках со стабильным FPS.

Несмотря на то, что первая версия DLSS в Control повышала производительность и обеспечивала отличное качество изображения в большинстве сцен, возникали сложности в областях с движущимися объектами. DLSS 2.0 же, напротив, справляется с такими фрагментами гораздо эффективнее, как видно на изображении с вращающимся вентилятором ниже.

Изображения сделаны в разрешении 1080p с режимом DLSS 2.0 «Качество»

Новая версия DLSS также улучшает качество изображений с более мелкими деталями. На изображениях ниже представлены примеры с оригинальной версией DLSS и обновленной DLSS 2.0.

Изображения сделаны в разрешении 1440p с режимом DLSS 2.0 «Качество»

В других фрагментах текст на печатях и другие детали также улучшены, что повышает качество изображения и детализацию.

Изображения сделаны в разрешении 1440p с режимом DLSS 2.0 «Качество»

А плоские текстурированные элементы, такие как плакаты и карта ниже, стали более резкими и прорисованными:

Изображения сделаны в разрешении 1080p с режимом DLSS 2.0 «Качество»

Чтобы получить технологию DLSS 2.0 для Control, скачайте и установите новый драйвер Game Ready, а 26 марта загрузите обновление для игры. В игре включите DLSS, выберите разрешение дисплея, а затем разрешение рендеринга DLSS, эквивалентное режимам «Качество», «Баланс», «Производительность» в других играх с технологией.

Deliver Us The Moon

В космическом приключении Deliver Us The Moon от KeokeN Interactive эффекты трассировки лучей и DLSS 2.0 были реализованы в конце прошлого года, что повысило производительность и качество графики.

«При реализации DLSS мы абсолютно не ожидали повышения качества изображения в Deliver Us The Moon, но именно это и произошло», — рассказывает Коэн Дитман (Koen Deetman), генеральный директор и директор проектов в KeokeN Interactive.«В сочетании с трассировкой лучей в реальном времени и значительным приростом производительности DLSS это обеспечивает исключительный игровой процесс в Deliver Us The Moon».

Прирост производительности на 60% с NVIDIA DLSS 2.0 в Deliver Us The Moon

В Deliver Us The Moon DLSS 2.0 обеспечивает качество изображения, сопоставимое с нативным разрешением, используя встроенный в игре метод временного сглаживания. Если посмотреть внимательнее, DLSS 2.0 обеспечивает даже небольшое повышение детализации благодаря более высокому качеству на перилах и других мелких деталях.

В других случаях DLSS 2.0 обеспечивает значительное улучшение, например для металлической сетки, которая отличается более высоким качеством и стабильностью (четкость при перемещении взгляда игрока).

А на многочисленных дисплеях и поверхностях с мелким текстом в игре DLSS 2.0 показывает больше прорисованных деталей.

MechWarrior 5: Mercenaries

В MechWarrior 5: Mercenaries от Piranha Games технология NVIDIA DLSS 2.0 реализована недавно. И, как в других играх с поддержкой DLSS, производительность значительно увеличилась: до 75% с режимом «Качество».

«NVIDIA DLSS 2.0 по сути бесплатно предоставляет игрокам прирост производительность без ущерба для качества изображения», — Русс Буллокк (Russ Bullock), президент Piranha Games. «SDK NVIDIA упрощает реализацию технологии, поэтому мы легко добавили ее в MechWarrior 5».

NVIDIA DLSS 2.0 также повышает качество изображения в ряде случаев. На сравнительном скриншоте ниже, снятом в разрешении 1440p с режимом «Качество», технология добавляет сложным частям меха детализированности, показывая его потертости и степень износа. DLSS также стабилизирует металлическую сетку в верхней части здания, чтобы повысить четкость во время игрового процесса.

В этом примере, снятом в разрешении 1080p с режимом «Качество», DLSS обеспечивает четкое и высококачественное изображение, одновременно повышая частоту кадров. Обратите также внимание на тонкие линии деталей на амбаре и высокую реалистичность полей.

И, наконец, в этом примере, снятом в разрешении 1080p с режимом «Качество», DLSS восстанавливает ограждение в верхней части стены и делает мелкие детали стены и на воротах более четкими.

Wolfenstein: Youngblood

Wolfenstein: Youngblood от Bethesda и Machine Games стала первой игрой под Vulkan с трассировкой лучей и DLSS 2.0.

С самого начала игра превосходно работала, а с DLSS 2.0 получила дополнительное ускорение.

«Нам было чрезвычайно важно, чтобы наша игра отличалась как визуальной привлекательностью, так и производительностью», — делится Джим Кьеллин (Jim Kjellin), технический директор MachineGames и разработчик Wolfenstein: Youngblood. «Реализация NVIDIA DLSS позволила обеспечить оба преимущества: максимальную производительность и невероятное качество изображения».

DLSS сохраняет уровень детализации, одновременно повышая качество изображения в некоторых участках. На примере ниже решетка справа и трубы на здании в центре гораздо более детализированы с DLSS 2.0, чем с режимом временного сглаживания в Wolfenstein: Youngblood:

Улучшения также заметны для некоторых других объектов. Например, на втором сравнительном скриншоте видно, что здание справа гораздо более детализировано, а антенны на крыше становятся более прорисованными и заметными, что улучшает качество всей сцены.

Мы изменили игры с помощью двух важных достижений в архитектуре Turing: трассировки лучей и NVIDIA DLSS. Трассировка лучей обеспечивает реалистичность нового поколения, а DLSS повышает частоту смены кадров, помогая наслаждаться визуальными эффектами трассировки лучей.

С NVIDIA DLSS 2.0 мы достигли больших успехов в качестве графики и производительности, одновременно обеспечив простую интеграцию, чтобы еще больше игр смогли использовать технологию. Благодаря возможностям ИИ сеть DLSS продолжит учиться и совершенствоваться.

Мы надеемся, что вы сможете оценить нашу последнюю работу в MechWarrior 5 и Control. Следите за новостями об ожидаемых играх с DLSS и новых технологиях на nvidia.com/ru-ru/.