NVIDIA DLSS 4 – новые уровни качества картинки и производительности

DLSS 4 – технология масштабирования изображения от NVIDIA, в которой применена новая архитектура нейронных сетей, модель-трансформер (Transformer), пришедшая на смену свёрточным нейронным сетям (CNN), традиционных для прошлых реализаций. Зелёная команда по-новому взялась за фундаментальную проблематику – баланс основополагающих для нейронного рендеринга: картинка, плавность и отзывчивость.

Перед DLSS
С освоением 4K-гейминга, у мейнстрим игроков обозначилась проблема – нехватка вычислительной мощности GPU в том самом 4K (особенно в новых тайтлах). Появление и внедрение технологии трассировки лучей косвенно усугубила проблему; «необязательный» RTX брал за новое качество изображения приличный процент. Требовалось решение.

Казалось, что вендоры вспомнят про мульти-GPU, которые в теории и по идее на практике выдавали внушительную вычислительную мощность и как следствие прекрасные результаты на выходе. Вариант «не прошёл» ввиду давних тех. проблем; возможным палачом выступил маркетинг.

NVIDIA как один из AI-лидеров в развитии и продвижение сделала ставку на искусственный интеллект; наверняка RTX косвенно стимулировал появление DLSS.

Со временем для ИИ-рендеринга обозначились следующие компромиссы:

1. Увеличение разрешения и/или качества → Снижение FPS и отклика
2. Снижение разрешения и/или качества → Увеличение FPS и отклика

Что нового предлагает DLSS 4

Модель Transformer

На выставке CES 2025 «Нвидиа» выложила схемы наглядно демонстрирующие, где возникает болевая точка и нарушается баланс в современном рендеринге. Разрубить «Го́рдиев у́зел» взялись представленные видеокарты RTX GeForce 50-серии (кодовое название: Blackwell) и DLSS Transformer.

Отход от CNN в пользу трансформер связан:

• Во-первых, использование вычислительных ресурсов будет лучше структурировано, теперь фокус сместиться от общего к частному (это на языке рисования), то есть к по-настоящему важным деталям, всё благодаря специальным механизмам внимания. Таким образом начнут определяться наиболее приоритетные области изображения и сложные сценарии станут проще в обработке.
• Во-вторых, трансформеры предлагают взять в работу больше наборов данных и примеров при обучении.

По заявлению NVIDIA, обновлённая архитектура нейронных сетей предлагает повышение как графической производительности, так и точность картинки, тем самым устанавливая новую планку Real-time Rendering. DLSS 4 совершает невероятный скачок относительно прошлых версий DLSS – в 4 раза больше вычислений.

Такие достижения позволяют по-новому начать поиск компромиссов между качеством, плавностью и откликом.

Super Resolution и Ray Reconstruction c трансформером

Обновлённая трансформером DLSS 4 версия DLSS Super Resolution (известная как DLSS 2) обеспечит более точную передачу замысловатых текстур и намного улучшит сохранность деталей, чем модель CNN. Более умные модели повысят качество изображения и в Ray Reconstruction (DLSS 3.5).

Multi-Frame Generation

Вместе с DLSS 4 представили Multi-Frame Generation, функцию способную придать значение x8 к эффективности рендеринга в реальном времени. Процесс: на каждые два отрендеренных (анализируются на предмет корреляции) кадра, генерируется 3 дополнительных кадра; генерируются 15 и 16 отображаемых пикселей.

Frame Generation

Frame Generation с обновлённой AI-моделью на 40% быстрее, потребляет на 30% меньше VRAM, а для генерации нескольких кадров требует всего один запуск на кадр. К примеру в 4K с максимальными настройками качества графики и активированным DLSS Frame Generation игра Warhammer 40.000: Darktide прибавит 10% к частоте кадров и 400 МБ видеопамяти.

А также сокращены вычислительные издержки на генерацию дополнительных кадров, так как поле оптического потока на аппаратном уровне заменили на высокоэффективную ИИ-модель.

Существует и обратная сторона медали, генерация такого огромного количества кадров создает проблемы с отзывчивостью. Чтобы обеспечить плавный гейминг внутри Blackwell, существует специальный аппаратный блок работающий с вариативностью кадров через измерение флипов, уменьшая её в 5-10 раз.

В качестве доказательства NVIDIA предложила взглянуть на Cyberpunk с активными разными реализациями «ДЛСС 4»:

• DLSS off: 27 FPS, ~70 мс.
• DLSS Super Resolution: 70 FPS, ~35 мс.
• DLSS 3.5 Ray Reconstruction: 140 FPS, ~35 мс.
• DLSS 4: 250 FPS, ~34 мс с улучшенным качеством изображения (например, более чёткие отражения и текстуры).