Обзор Ray Reconstruction — новая функция DLSS 3.5

Новая функция «Ray Reconstruction» и технология DLSS 3.5 выступают в роли последних инноваций, представленных компанией Nvidia для мира игровых ПК. Они являются продолжением успешного внедрения технологии Nvidia RTX. DLSS 3.5 Ray Reconstruction разработана с целью существенного улучшения качества трассировки лучей в играх, обеспечивая изображение, превосходящее даже родное разрешение.

Официальный релиз DLSS 3.5 Ray Reconstruction запланировали на 21 сентября 2023 года, однако геймеры смогут оценить возможности этой технологии уже сейчас в испытательном режиме в игре «Cyberpunk 2077: Phantom Liberty». Компания Nvidia активно работает над тем, чтобы расширить использование этой функции на десятки игр, включая уже выпущенные и находящиеся в стадии разработки.

Появление технологии DLSS, или Deep Learning Super Sampling, в графических процессорах GeForce RTX 20-серии вначале не привлекло такое же внимание, как трассировка лучей. Однако со временем DLSS стала одной из самых востребованных функций в GPU GeForce RTX. DLSS 2, основанный на суперсэмплинге, рендерит игру в более низком разрешении, чем способен отобразить дисплей геймера, а затем с помощью специального алгоритма повышает разрешение, используя искусственный интеллект для восстановления деталей. Различные уровни качества определяют разрешение, на котором будет отображаться игра на экране.

DLSS 3 Frame Generation – новое измерение в технологии DLSS, доступное на графических процессорах RTX 40-серии. Эта функция позволяет создавать альтернативные кадры с помощью искусственного интеллекта без участия конвейера рендеринга графики. Благодаря этому улучшению, частота кадров практически удваивается при любом разрешении за счет рендеринга в более низком разрешении.

В отличие от DLSS 3 Frame Generation, для работы которого требуются видеокарты GeForce RTX 40-й серии Ada, DLSS 3.5 Ray Reconstruction работает на всех видеокартах GeForce RTX, включая RTX 20-й серии Turing, RTX 30-серии Ampere и RTX 40-серии Ada. Все аппаратные требования, связанные с технологией RR, выполняются на более старших поколениях GeForce RTX, поэтому новейшие видеокарты RTX 40-серии не предоставляют никаких преимуществ, кроме более высокой производительности. Для использования DLSS 3 Frame Generation, напротив, требуется наличие в GPU компонента Optical Flow Accelerator, представленного Nvidia в Ada. Важно отметить, что DLSS 2, DLSS 3 и DLSS 3.5 не являются хронологическими версиями, а ассоциируются с их особенностями — суперразрешением (SR) для DLSS 2, генерацией кадров (FG) для DLSS 3 и реконструкцией лучей (RR) для DLSS 3.5.

Первой игрой, в которой реализована реконструкция лучей DLSS 3.5, является «Cyberpunk 2077: Phantom Liberty». Ожидается, что уже в этом году к ней присоединятся также «Alan Wake II» и «Portal» для RTX. Nvidia активно сотрудничает со всеми игровыми студиями, внедрившими DLSS и трассировку лучей, чтобы интегрировать технологию Ray Reconstruction в уже выпущенные тайтлы. В данном обзоре подробно узнаем, какие возможности предлагает DLSS 3.5 Ray Reconstruction с точки зрения визуализации и как она влияет на производительность на примере видеокарт трех поколений GeForce RTX.

Как активировать DLSS 3.5 Ray Reconstruction

DLSS 3.5 Ray Reconstruction — это самостоятельная функция доступная во внутриигровых настройках, как и DLSS 3 Frame Generation.

• В игре Cyberpunk 2077 переключатель для данной функции находится в разделе «NVIDIA DLSS».
• Для активации, необходимо предварительно включить DLSS Super Resolution в любом режиме качества или в режиме «Авто».
• На данный момент включение DLAA не позволяет использовать функцию реконструкции лучей, но в компании NVIDIA работают над этим.
• Генерация кадров DLSS 3 может быть включена или отключена, и оба режима поддерживают RR.
• Когда обычная трассировка лучей активна, переключатель для Ray Reconstruction выделяется серым цветом.
• Для того чтобы данный переключатель был задействован, необходимо сначала включить трассировку контура. В Nvidia уточнили, что с технической точки зрения восстановление лучей может работать и с классической трассировкой лучей (без трассировки контуров), однако визуальный эффект будет менее впечатляющим.
• Аналогично генерации кадров DLSS, восстановление лучей также предоставляется в виде DLL-файла с названием «nvngx_dlssd.dll», который находится в директории игры. Версия 3.5.0.0 этого DLL-файла поставляется вместе с игрой Cyberpunk 2077.

Как работает технология Ray Reconstruction

DLSS 3.5 — новый денойзер трассировки лучей, представленный компанией Nvidia. Он оптимизирован для использования с апскейлингом DLSS 2 и способен предоставить более качественные и точные изображения. Данная функция работает на тензорных ядрах, а не на RT-ядрах, и доступна на всех видеокартах GeForce RTX (начиная с Turing-архитектуры).

Современные игровые движки используют трассировку лучей следующим образом: на первом этапе создается геометрия и материалы без затенения. Эта информация используется для создания ускоряющей структуры BVH, которая помогает определить места пересечения лучей с геометрией мира. Затем бросается несколько лучей, и их путь отслеживается для определения пересечений, отражений и преломлений. Результаты передаются в денойзер, который преобразует отдельные пиксели в непрерывное изображение, напоминающее проработанные лучами отражения, тени, освещение или окклюзию. В режиме повышения разрешения денойзер генерирует вывод в более низком разрешении, не зная о конечном разрешении. Кроме того, апскейлер не получает информацию о лучах, видит только пиксельный вывод от денойзера, что приводит к потере исходных значений трассировки лучей.

Главной проблемой денойзеров является их зависимость от предыдущих кадров для сбора достаточного количества пиксельных данных. Выходной сигнал RT представляет собой среднее значение нескольких предыдущих кадров, что порождает артефакты, такие как «призрачность» зеркала на движущемся автомобиле. Также присутствует проблема с размытыми эффектами освещения и отражениями.

Инновация Nvidia в DLSS 3.5 заключается в объединении этапов денойзинга и апскейлинга в один комбинированный этап, где доступно больше информации, что обеспечивает высокое качество выходного изображения. Изображение низкого разрешения объединяется с результатами растеризации, этапами трассировки лучей и векторами движения, и всё вместе окрашивается в выходное изображение высокого разрешения, например, 4K. Алгоритм DLSS 3.5 также учитывает предыдущие кадры (временная обратная связь), как и DLSS 2. После апскейлинга выполняется ещё один проход для генерации кадров в DLSS 3 (если она активирована).

Вот слайд, объясняющий, как эффекты освещения могут выглядеть лучше при использовании реконструкции лучей.

Сравнение качества изображения

Теперь давайте посмотрим на реконструкцию лучей DLSS 3.5 в действии. Все скриншоты были сделаны на RTX 4090, на максимальных настройках, с включенной трассировкой контуров. Размытие, зернистость и подобные эффекты были отключены.

Native vs DLSS Quality

Native vs DLSS Q + RR

Native vs DLSS Q + RR + FG

DLSS Quality vs DLSS Q + RR

DLSS Quality vs DLSS Q + RR + FG

DLSS Q + RR vs DLSS Q + RR + FG

Производительность

Использование VRAM

Отзыв об Ray Reconstruction

DLSS 3.5 — это ещё один шаг в развитии технологии DLSS от NVIDIA. Что начиналось как простое увеличение разрешения, стало целой экосистемой функций повышения качества изображения и производительности для геймеров на графических картах GeForce. Сначала появился просто «DLSS», то есть «Super Resolution», который повышал разрешение входного изображения с лучшим качеством, чем классическое увеличение. Потом возник «DLAA» — DLSS Upscaling без апскейлинга. Здесь алгоритмы улучшения изображения работали с исходным разрешением, что означало отсутствие артефактов при увеличении разрешения, а также сглаживание — это было очень хорошо принято!

С появлением GeForce 40 появилась и функция генерации кадров — DLSS 3. Эта функция работает с двумя входными изображениями и создает третье «среднее» изображение, где то, что изменилось между двумя исходными сигналами, перемещается только на половину расстояния. Это обеспечивает более высокую частоту кадров, не перегружая центральный и графический процессоры — даже с «тормозящим» CPU.

Сегодня технология реконструкции лучей DLSS 3.5 от NVIDIA доступна, сначала в игре Cyberpunk 2077, но еще много игр впереди. Название «DLSS 3.5» может показаться странным, но оно имеет смысл, если рассматривать «DLSS» как постоянную эволюцию, в которой добавляются новые возможности. Большие изменения увеличивают версию на «1», а меньшие — на «0.5», как в данном случае. Однако основная проблема заключается в том, что DLSS означает «Deep Learning Super Sampling», хотя уже нет. В действительности это «NVIDIA’s Awesome Experience Enhancers», но понятно, почему они решили сохранить бренд «DLSS», учитывая, сколько усилий и ресурсов было вложено в его разработку.

С точки зрения разработчика, все три DLL-файла для реализации DLSS — nvngx_dlss.dll, содержащий Super Resolution (и DLAA), nvngx_dlssg.dll для генерации кадров и nvngx_dlssd.dll для реконструкции лучей — достаточно независимы, что объясняет требования к GPU. Если Super Resolution работает на всех графических картах GeForce 20 и более новых, то Frame Generation требует GeForce 40, а Ray Reconstruction работает на графических картах GeForce 20 и более новых, также как и Super Resolution. Это не означает, что DLSS 3.5 автоматически включает функцию Frame Generation для старых графических карт, что является распространенным заблуждением. Согласно NVIDIA, для работы Frame Generation требуется ускоритель оптического потока в графических процессорах Ada. Компания AMD также анонсировала FSR 3, технологию генерации кадров на основе шейдеров — будет интересно посмотреть, насколько хорошо она работает как с точки зрения качества изображения, так и с точки зрения производительности.

Теперь более подробно о тестах реконструкции лучей. В ходе обзора было проведено обширное тестирование новой технологии от Nvidia, и нужно сказать, что новинка производит впечатление. Эти годы геймеры видели, что отражения при трассировке лучей выглядят зернистыми и размытыми, но это считалось нормой, чтобы не перегружать производительность. Однако Nvidia не соглашалась с таким объяснением, и они долго работали над проблемой, и пришли к нестандартному решению. Вместо того, чтобы увеличивать количество лучей, RR использует дополнительную информацию, доступную в игровом движке, которая ранее терялась на определенном этапе рендеринга. Результаты сравнительного тестирования говорят сами за себя — разница в конечных результатах действительно значительна.

Отметим, что эти различия не очень заметны в движении и во время напряженного гейминга, но всё же это не следующая ступень качества изображения. Поэтому этот продукт можно смело назвать «DLSS 3.5», а не «DLSS 4.0». Не только отражения выглядят более чёткими, но также тени значительно улучшены, особенно с точки зрения мелких деталей. При трассировке лучей часто не хватает лучей для выборки мелких деталей структуры, но при RR такие объекты получаются гораздо точнее, а тени становятся более чёткими и детализированными. Наблюдается также улучшение в окклюзии окружения, выглядящей более реалистично. Классические денойзеры объединяют информацию нескольких кадров, что приводило к размытию движущихся объектов, например фар автомобиля, или отображению эффекта с небольшой задержкой при быстром мерцании источника отражений.

К сожалению, текущая версия Ray Reconstruction не совместима с функциями DLAA или рендерингом в оригинальном разрешении. Однако Nvidia подтвердила, что в будущем они разработают поддержку RR для DLAA. Также стоит отметить, что в настоящее время функция «Реконструкция лучей» работает только при включенной трассировке контура. Это ограничивает доступ к этой технологии для немногих геймеров, в основном тех, кто обладает видеокартами RTX 4080 или RTX 4090. Остальные игроки будут использовать классическую трассировку лучей или даже отключат её. Технически нет препятствий для совместной работы RR с другими эффектами трассировки лучей. В настоящее время аудитория, получающая доступ к функции, ограничена, но как только Nvidia сможет решить эти проблемы, это станет ключевым моментом для развития RT в играх. Вероятно, AMD сможет реализовать аналогичную технологию для FSR, что может дать им дополнительную производительность, поскольку это позволит использовать меньшее количество лучей.

В ходе тестирования было замечено, что изображение с использованием реконструкции лучей выглядит более ярким, но некоторые поверхности выглядят немного размытыми, поэтому Nvidia должна быстро решить эту проблему. Больше всего проблем с тестированием возникло в меню настроек игры Cyberpunk. Игра почему-то имеет проблемы с настройками. Например, если включить DLSS, хотелось бы, чтобы пользователь мог сразу увидеть Ray Reconstruction в действии, даже если функция отключена изначально. Возможно, разработчикам не хватило времени или понимания для правильной настройки графических эффектов в меню. Но к счастью настройки резкости были сделаны правильно со стороны CDPR. Разумеется, владеть всеми этими технологиями не так просто, поэтому скорее всего, что Microsoft должна объединить их под зонтиком DirectX, как это было сделано с трассировкой лучей. Это сделает ситуацию более понятной для всех участников и может повысить уровень их внедрения.

Интересно отметить, что реконструкция лучей действительно снижает потребление видеопамяти. Например, при разрешении 4К использование RR привело к снижению потребления VRAM с 11.8 ГБ до 10.9 ГБ. Одна из возможных причин заключается в том, что стандартный дэнойзер, заменяемый RR, требует больше видеофрейма, возможно, из-за сохранения большего количества кадров в его буфере. Также возможно, что RR интегрирован с прогоном DLSS Super Resolution, что позволяет совместно использовать некоторые буферы, избегая их дублирования.

Что касается производительности, Nvidia предпочла быть осторожной в своих заявениях. Официально заявлено: «Улучшение изображения с помощью технологии «Реконструкции Лучей» может как улучшить, так и незначительно ухудшить производительность». Однако в результате тестов было замечено однозначное увеличение производительности, особенно у архитектур Ada и Ampere. Например, в 4К без генерации кадров применение RR на RTX 4090 повысило производительность с 49 FPS до 53 FPS. Было проведено несколько тестовых сценариев, и обнаружить хотя бы один случай, когда производительность снижалась при использовании RR не получилось. Это очень хорошие новости — новая функция от Nvidia не только улучшает качество картинки, но и повышает производительность. Прекрасная работа!

Это лишь вкратце — результаты обширного тестирования новой технологии Ray Reconstruction от NVIDIA. Как видно, разница в качестве изображения действительно заметна и впечатляюща. NVIDIA искала нестандартные решения для улучшения графики и увеличения производительности, и их усилия явно не прошли даром. DLSS 3.5 — это продукт эволюции, который продолжает радовать геймеров на графических картах GeForce и придает играм дополнительное качество и реалистичность.

Примечания:

• Источник опубликованного материала: TPU