Обзор Ray Reconstruction — новая функция DLSS 3.5

DLSS 3.5 и её новая функция Ray Reconstruction являются последними в длинной череде революционных инноваций, которые NVIDIA представила в игровом пространстве ПК, начиная с момента NVIDIA RTX. DLSS 3.5 Ray Reconstruction призвана значительно улучшить качество трассировки лучей в играх, так что получаемое изображение будет выглядеть лучше, чем даже в родном разрешении. Компания официально выпускает DLSS 3.5 Ray Reconstruction 21 сентября 2023 года, пилотной игрой станет Cyberpunk 2077 Phantom Liberty. В настоящее время NVIDIA работает над тем, чтобы распространить эту функцию на десятки игр, как выпущенных, так и находящихся в разработке.

Когда DLSS, или Deep Learning Super Sampling, дебютировала в GeForce RTX 20-серии, она не привлекла такого внимания, как трассировка лучей, но постепенно стала самой востребованной функцией в графических процессорах GeForce RTX. DLSS 2 (super sampling) заставляет игру рендерить в более низком разрешении, чем то, на которое способен дисплей геймера, и использует высокоспециализированный алгоритм повышения разрешения, использующий искусственный интеллект, для восстановления деталей до выходного разрешения. Различные предустановки качества определяют разрешение, с которым игра будет выводиться на экран. Поскольку игра рендерится в более низком разрешении, наблюдается практически линейный прирост частоты кадров. DLSS 3 Frame Generation добавляет новое измерение к набору функций DLSS. Функция Frame Generation, доступная на графических процессорах RTX 40-серии, позволяет строить целые альтернативные кадры полностью с помощью искусственного интеллекта, без участия конвейера рендеринга графики, что позволяет почти вдвое увеличить частоту кадров при любом разрешении.

DLSS 3.5 Ray Reconstruction добавляет ещё одну возможность, с помощью которой NVIDIA пытается преодолеть потери качества, возникающие при трассировке лучей в DLSS 2 Super Resolution. Технология претендует на то, чтобы стать альтернативой даже штатному денуайзеру NVIDIA, который является важнейшим компонентом современного конвейера трассировки лучей. Чистая трассировка лучей в интерактивном 3D остается технологической святыней графики, то, что имеется сейчас — это комбинация растровой 3D-графики с элементами трассировки лучей, даже эти небольшие фрагменты трассировки лучей требуют больших вычислительных затрат, поэтому трассируется меньшее количество лучей, чем необходимо для физической точности, а денойзер пытается компенсировать их разреженность. Без применения денойзера изображение с трассировкой лучей будет выглядеть как слой белого или чёрного шума, вызванного отсутствием лучей.

В отличие от DLSS 3 Frame Generation, для работы которого требуются видеокарты GeForce RTX 40-й серии Ada, DLSS 3.5 Ray Reconstruction работает на всех видеокартах GeForce RTX, включая RTX 20-й серии Turing, RTX 30-серии Ampere и RTX 40-серии Ada. Все аппаратные требования технологии Ray Reconstruction выполняются на старших поколениях GeForce RTX, никаких преимуществ, кроме более высокой производительности, новейшие RTX 40-серии не дают. В отличие от DLSS 3 Frame Generation, для которой требуется наличие в GPU компонента Optical Flow Accelerator, представленного NVIDIA в Ada. Проще понять, что DLSS 2, DLSS 3 и DLSS 3.5 не являются хронологическими версиями, а ассоциируются с их особенностями — суперразрешением (SR) для DLSS 2, генерацией кадров (FG) для DLSS 3 и реконструкцией лучей (RR) для DLSS 3.5.

Cyberpunk 2077 Phantom Liberty — первая игра, в которой реализована реконструкция лучей DLSS 3.5, позже в этом году к ней присоединятся Alan Wake II и Portal для RTX. Зная NVIDIA, можно утверждать, что она сотрудничает с каждой игровой студией, внедрившей DLSS и трассировку лучей, чтобы попытаться внедрить Ray Reconstruction в текущие игры. В этом обзоре подробно будет рассмотрено то, что предлагает DLSS 3.5 Ray Reconstruction в визуальном плане и как она влияет на производительность на примере видеокарт всех трех поколений GeForce RTX.

Как активировать DLSS 3.5

DLSS 3.5 Ray Reconstruction — это независимая функция во внутриигровых настройках, как и DLSS 3 Frame Generation.

• В Cyberpunk 2077 тумблер находится в разделе «NVIDIA DLSS».
• Для того чтобы он появился, необходимо сначала включить DLSS Super Resolution, при этом подойдет любой режим качества или «авто».
• На данный момент включение DLAA не даёт возможности включить реконструкцию лучей, но NVIDIA работает над этим.
• Генерация кадров DLSS 3 может быть включена или отключена, оба режима поддерживают реконструкцию лучей.
• Когда включена обычная трассировка лучей, тумблер Ray Reconstruction будет выделен серым цветом.
• Для того чтобы этот переключатель был включен, необходимо сначала активировать трассировку контура. Я уточнил у NVIDIA, что с точки зрения технологии Ray Reconstruction может работать и с классической трассировкой лучей (без трассировки контуров), но визуально прирост будет менее впечатляющим.
• Как и DLSS Frame Generation, DLSS Ray Reconstruction поставляется в виде DLL, которая находится в директории игры. Она называется «nvngx_dlssd.dll». Cyberpunk 2077 поставляется с версией 3.5.0.0 этой DLL.

Технология Ray Reconstruction

В DLSS 3.5 NVIDIA представляет новый денойзер трассировки лучей, оптимизированный для совместной работы с апскейлингом DLSS 2 и обеспечивающий более качественные и одновременно корректные результаты изображения. Эта функция опирается на ядра Tensor (а не RT, как просили), поэтому она доступна на всех видеокартах GeForce RTX (Turing и новее).

В современных игровых движках трассировка лучей работает следующим образом: на первом этапе движок создаёт геометрию и материалы, но без затенения. Эта информация используется для создания ускоряющей структуры BVH для трассировки лучей, помогающая определить места пересечения лучей с геометрией мира. Далее бросается несколько лучей и прослеживается их путь, чтобы вычислить пересечения, возможно, позволить им отразиться, а может быть, и несколько раз. Полученные результаты поступают в денойзер, превращающий отдельные пиксели в непрерывное изображение, похожее на прорисованное лучами отражение, тень, освещение или ambient occlusion. При включенном повышении разрешения денойзер генерирует вывод в более низком разрешении рендера, а не в конечном «родном» разрешении — денойзер даже не знает о конечном разрешении. Кроме того, ещё одной проблемой является то, что апскейлер ничего не знает о лучах, он видит только пиксельный вывод от денойзера — все исходные значения трассировки лучей на этом этапе теряются.

Самая большая проблема денойзеров заключается в том, что они опираются на предыдущие кадры, чтобы «собрать» достаточно пиксельных данных для конечного изображения. Это означает, что выходной RT-сигнал представляет собой среднее значение нескольких предыдущих кадров. На слайде выше подробно описаны такие проблемные случаи. Например, зеркало на движущемся автомобиле совмещается на протяжении нескольких кадров, что приводит к появлению артефактов «призрачности». Другая проблема связана с тонкими эффектами освещения и отражениями, выглядящих просто размазанными.

Инновация NVIDIA в DLSS 3.5 заключается в том, что они объединяют этапы денуазинга и апскейлинга в один комбинированный этап, на котором доступно больше информации, что обеспечивает более высокое качество выходного изображения. Выходное изображение низкого разрешения объединяется с результатами растеризации, этапами трассировки лучей и векторами движения, и все это раскрашивается непосредственно в выходное изображение высокого разрешения, в данном случае 4K. Алгоритм DLSS 3.5 также учитывает предыдущие кадры (временная обратная связь), как и DLSS 2. После завершения апскейлинга выполняется еще один проход для функции генерации кадров DLSS 3 (если она включена).

Вот слайд, объясняющий, как эффекты освещения могут выглядеть лучше при использовании реконструкции лучей.

Сравнение качества изображения

Теперь давайте посмотрим на реконструкцию лучей DLSS 3.5 в действии. Все скриншоты были сделаны на RTX 4090, на максимальных настройках, с включенной трассировкой контуров. Размытие, зернистость и подобные эффекты были отключены.

Native vs DLSS Quality

Native vs DLSS Q + RR

Native vs DLSS Q + RR + FG

DLSS Quality vs DLSS Q + RR

DLSS Quality vs DLSS Q + RR + FG

DLSS Q + RR vs DLSS Q + RR + FG

Производительность

Использование VRAM

Отзыв

DLSS 3.5 Ray Reconstruction — ещё один кусочек головоломки в истории DLSS от NVIDIA. То, что начиналось с простого повышения разрешения, превратилось в целую экосистему функций повышения качества изображения и производительности для геймеров на GeForce. Сначала был просто «DLSS», т.е. Super Resolution, принимающий входное изображение с более низким разрешением и повышал его, причём лучше, чем классическое повышение разрешения. Спустя некоторое время появился «DLAA» — DLSS Upscaling без апскейлинга. Здесь алгоритмы улучшения изображения работают на входе с родным разрешением, что означает отсутствие артефактов при повышении разрешения, а также сглаживание — нам это очень нравится! С выходом GeForce 40 появилась функция генерации кадров «DLSS 3», которая рассматривает два изображения и создает третье «среднее» изображение, в котором то, что изменилось между двумя входными сигналами, переместилось только на половину расстояния. Это обеспечивает значительно более высокую частоту кадров, не нагружая CPU/GPU рендеринговую машину — она работает даже при ограниченном количестве CPU.

Сегодня технология реконструкции лучей DLSS 3.5 от NVIDIA запущена, сначала в Cyberpunk 2077, но на очереди ещё много игр. «DLSS 3.5» — немного странная схема наименования, но она имеет смысл, если рассматривать «DLSS» как постоянную эволюцию, в которой добавляются новые возможности, большие изменения увеличивают версию на «1», меньшие — на «0.5», как в данном случае. Основная проблема заключается в том, что DLSS означает «Deep Learning Super Sampling», а на самом деле это уже не так. На самом деле это «NVIDIA’s awesome experience enhancers», но понятно, почему они хотели сохранить бренд «DLSS», ведь на его создание ушло много времени, сил и денег.

С точки зрения разработчика, все гораздо более разделено. Теперь существует три DLL-файла для реализации DLSS: nvngx_dlss.dll, содержащий Super Resolution (и DLAA), nvngx_dlssg.dll для генерации кадров и nvngx_dlssd.dll для реконструкции лучей. Эти технологии достаточно независимы, что также объясняет требования к GPU. Если Super Resolution работает на всех GeForce 20 и более новых GPU, то Frame Generation требует GeForce 40, а Ray Reconstruction работает на GeForce 20 и более новых, как и Super Resolution. Это не означает, что DLSS 3.5 волшебным образом включает функцию Frame Generation для старых GPU, что является распространенным заблуждением. По словам NVIDIA, для работы Frame Generation требуется блок ускорителя оптического потока в графических процессорах Ada. Компания AMD анонсировала FSR 3, технологию генерации кадров на основе шейдеров — будет интересно посмотреть, насколько хорошо она работает как с точки зрения качества изображения, так и с точки зрения производительности.

Сегодня речь пойдет о реконструкции лучей. В обзоре было проведено обширное тестирование новой технологии NVIDIA, и должно сказать, что это производит впечатление. В течение многих лет все видели, что отражения при трассировке лучей выглядят зернистыми и размазанными, но это принималось как «так и должно быть, иначе производительность пострадает (ещё больше)». NVIDIA такое объяснение не устраивало, поэтому они долго думали над проблемой и пришли к нестандартному решению. Вместо того чтобы бросать в проблему больше лучей, реконструкция лучей использует дополнительную информацию, которая доступна в игровом движке, но теряется на определенном этапе конвейера, поскольку последующие этапы рендеринга работают с меньшим количеством информации. Посмотрите на сравнительные скриншоты — разница в конечном результате действительно значительна. Нужно признать, что особенно в движении и во время напряженного игрового процесса эти различия не очень заметны, но всё же можно считать, что они несколько улучшают качество изображения, поэтому и кажется уместным называть этот продукт «DLSS 3.5», а не «DLSS 4.0». Не только отражения выглядят более чёткими, но и тени тоже существенно улучшены, особенно когда речь идет о мелких деталях. При трассировке лучей часто «промахиваются» мимо мелких деталей структуры, поскольку лучей просто не хватает для их выборки. При реконструкции лучей такие объекты разрешаются гораздо лучше, а тени выглядят более чёткими и детализированными. Были заметны улучшения в окклюзии окружения, которая выглядит более реалистично. Классические денойзеры объединяют информацию нескольких кадров, в результате чего некоторые движущиеся объекты, например фары автомобиля в движении, размазываются, а с RR фары выглядят чёткими и резкими. То же самое происходит, когда источник отражения быстро мерцает — классические денойзеры часто усредняют этот эффект или показывают его с небольшой задержкой.

К сожалению, Ray Reconstruction не поддерживается с DLAA или рендерингом в родном разрешении. NVIDIA подтвердила, что в будущем они подготовят RR для DLAA. Ещё более проблематичным, является то, что сейчас Ray Reconstruction работает только при включенной трассировке контура. Это ограничивает возможности технологии очень немногими геймерами — в основном теми, у кого есть RTX 4080 или RTX 4090. Все остальные будут играть с классической трассировкой лучей или даже с отключенной трассировкой. С точки зрения технологии, ничто не мешает Ray Reconstruction работать с классическими эффектами трассировки лучей. На данный момент Ray Reconstruction будет ограничена небольшой аудиторией, но как только NVIDIA сможет решить эти две проблемы, это станет переломным моментом для RT в играх. Скорее всего, AMD сможет реализовать аналогичную технологию для FSR, и это может даже помочь им получить дополнительную производительность, поскольку можно будет использовать меньшее количество лучей.

Во время тестирования было заметно, что изображение с реконструкцией лучей выглядит немного ярче, а некоторые поверхности выглядят немного замыленными — NVIDIA должна быстро решить эту проблему. Больше всего проблем при тестировании Ray Reconstruction возникло в меню настроек Cyberpunk. По какой-то причине игра очень любит возиться с настройками. Включить FG? Вот «DLSS Auto», выбор «DLSS Quality» не имеет значения. О, включаете DLSS? Тогда очень хотим, чтобы увидели RR в действии, вот, пожалуйста, не знаю, почему вы решили отключить его раньше. Опять же, ничего такого, что CDPR не могла бы исправить, но уже не раз сталкивались с подобными случаями, когда разработчики игр неверно настраивали меню для важных графических приёмов, возможно, из-за нехватки времени или понимания. По крайней мере, с ползунками повышения резкости у CDPR все в порядке. Иметь в своём распоряжении все эти технологии, конечно, непросто, поэтому я считаю, что Microsoft должна сделать шаг к объединению этих технологий под зонтиком DirectX, как это было сделано с трассировкой лучей. Это сделает ситуацию предельно ясной для всех участников процесса и, возможно, повысит уровень внедрения.

Интересным открытием стало то, что реконструкция лучей действительно снижает потребление VRAM. Например, при разрешении 4K получили 11.8 Гбайт с отключенной RR и только 10.9 Гбайт с включенной RR. Одна из возможных теорий заключается в том, что стандартный денуайзер (который заменяется RR) использует больше памяти, возможно, потому, что он сохраняет больше кадров истории в своем буфере. Возможно, RR также интегрирован с проходом DLSS Super Resolution, что означает, что некоторые буферы могут быть общими и не дублироваться.

Что касается производительности, то NVIDIA была осторожна в своих заявлениях. Официальное заявление гласит: «Это технология улучшения изображения, производительность может быть такой же, немного лучше или немного хуже». В нашем тестировании мы увидели однозначный прирост производительности, особенно в Ada и Ampere. Например, RTX 4090 в 4K без Frame Generation увеличивает производительность с 49 FPS до 53 FPS. Было протестировано несколько мест и нет ни одного, где бы производительность снизилась при включении RR. Это хорошая новость — новая функция NVIDIA не только выглядит лучше, но и повышает производительность. Отличная работа!