DLSS 4 – технология масштабирования изображения от NVIDIA, в которой применена новая архитектура нейронных сетей, модель-трансформер (Transformer), пришедшая на смену свёрточным нейронным сетям (CNN), традиционных для прошлых реализаций. Зелёная команда по-новому взялась за фундаментальную проблематику – баланс основополагающих для нейронного рендеринга: картинка, плавность и отзывчивость.
DLSS появилась с вместе архитектурой Turing и видеокартами GeForce RTX 20-серии ещё в 2018 году. Несмотря на очевидные «детские болезни» в дебюте, NVIDIA постоянно совершенствовала продукт используя специальную суперкомпьютерную инфраструктуру.
Отлов ошибок, исправление сбоев моделей, расширение обучающих наборов данных и внедрение новых алгоритмов – перечень практик, приведших к популярности и окончательному «Да, быть!».
На текущий момент DLSS успешно внедрён в более чем 540 игровых проектах; 15 из 20 лучших тайтлов 2024 года были с ней. По статистике 80% RTX-геймеров включают этот апскейлер, а общее количество игровых часов для «ДЛСС» уже составило уже 3b.
С освоением 4K-гейминга, у мейнстрим игроков обозначилась проблема – нехватка вычислительной мощности GPU в том самом 4K (особенно в новых тайтлах). Появление и внедрение технологии трассировки лучей косвенно усугубила проблему; «необязательный» RTX брал за новое качество изображения приличный процент. Требовалось решение.
Казалось, что вендоры вспомнят про мульти-GPU, которые в теории и по идее на практике выдавали внушительную вычислительную мощность и как следствие прекрасные результаты на выходе. Вариант «не прошёл» ввиду давних тех. проблем; возможным палачом выступил маркетинг.
NVIDIA как один из AI-лидеров в развитии и продвижение сделала ставку на искусственный интеллект; RTX стимулировал появление DLSS.
Со временем для ИИ-рендеринга обозначились следующие компромиссы:
- Увеличение разрешения и/или качества → Снижение FPS и отклика
- Снижение разрешения и/или качества → Увеличение FPS и отклика
Что нового предлагает DLSS 4
Модель Transformer
На выставке CES 2025 «Нвидиа» выложила схемы наглядно демонстрирующие, где возникает болевая точка и нарушается баланс в современном рендеринге. Разрубить «Го́рдиев у́зел» взялись представленные видеокарты RTX GeForce 50-серии (кодовое название: Blackwell) и DLSS Transformer, .
Избыточность – черта в рабочих нагрузках характерная для «сырого» рендеринга; объекты в сценах между кадрами зачастую изменяются не так быстро. Прошедший обучение искусственный интеллект способен подмечать, а главное прогнозировать такие моменты, успевая снижать нагрузку, повышая эффективность и производительность.
Отход от CNN в пользу трансформер связан:
- Во-первых, использование вычислительных ресурсов будет лучше структурировано, теперь фокус сместиться от общего к частному (это на языке рисования), то есть к по-настоящему важным деталям, всё благодаря специальным механизмам внимания. Таким образом начнут определяться наиболее приоритетные области изображения и сложные сценарии станут проще в обработке.
- Во-вторых, трансформеры предлагают взять в работу больше наборов данных и примеров при обучении.
По заявлению NVIDIA, обновлённая архитектура нейронных сетей предлагает повышение как графической производительности, так и точность картинки, тем самым устанавливая новую планку Real-time Rendering. DLSS 4 совершает невероятный скачок относительно прошлых версий DLSS – в 4 раза больше вычислений.
Такие достижения позволяют по-новому начать поиск компромиссов между качеством, плавностью и откликом.
Super Resolution и Ray Reconstruction c трансформером
Обновлённая трансформером DLSS 4 версия DLSS Super Resolution (известная как DLSS 2) обеспечит более точную передачу замысловатых текстур и намного улучшит сохранность деталей, чем модель CNN. Более умные модели повысят качество изображения и в Ray Reconstruction (DLSS 3.5).
Multi-Frame Generation
Вместе с DLSS 4 представили Multi-Frame Generation, функцию способную придать значение x8 к эффективности рендеринга в реальном времени. Процесс: на каждые 2 отрендеренных (анализируются на предмет корреляции), генерируется 3 дополнительных кадра; генерируются 15 и 16 отображаемых пикселей.
Frame Generation
Frame Generation с обновлённой AI-моделью на 40% быстрее, потребляет на 30% меньше VRAM, а для генерации нескольких кадров требует всего один запуск на кадр. К примеру в 4K с максимальными настройками качества графики и активированным DLSS Frame Generation игра Warhammer 40.000: Darktide прибавит 10% к частоте кадров и 400 МБ видеопамяти.
А также сокращены вычислительные издержки на генерацию дополнительных кадров, так как поле оптического потока на аппаратном уровне заменили на высокоэффективную ИИ-модель.
Существует и обратная сторона медали, генерация такого огромного количества кадров создает проблемы с отзывчивостью. Чтобы обеспечить плавный гейминг внутри Blackwell существует специальный аппаратный блок работающий с вариативностью кадров через измерение флипов, уменьшая её в 5-10 раз.
В качестве доказательства NVIDIA предложила взглянуть на Cyberpunk с активными разными реализациями «ДЛСС 4»:
- DLSS off: 27 FPS, ~70 мс.
- DLSS Super Resolution: 70 FPS, ~35 мс.
- DLSS 3.5 Ray Reconstruction: 140 FPS, ~35 мс.
- DLSS 4: 250 FPS, ~34 мс с улучшенным качеством изображения (например, более чёткие отражения и текстуры).
Функции NVIDIA DLSS 4 | ||||
---|---|---|---|---|
GeForce RTX 50-серия |
GeForce RTX 40-серия |
GeForce RTX 30-серия |
GeForce RTX 20-серия |
|
НОВОЕ: DLSS Multi-Frame Generation Повышение производительности за счёт генерации нескольких кадров |
✓ | |||
УЛУЧШЕНО: DLSS Frame Generation Повышение производительности и сокращение использования памяти |
✓ | ✓ | ||
УЛУЧШЕНО: DLSS Ray Reconstruction Улучшенная стабильность и детализация освещения с трассировкой лучей |
✓ | ✓ | ✓ | ✓ |
УЛУЧШЕНО: DLSS Super Resolutoin – Beta Улучшенная стабильность и более высокая детализация |
✓ | ✓ | ✓ | ✓ |
УЛУЧШЕНО: Deep Learning Anti-Aliasing (DLAA) – Beta Улучшенная стабильность и более высокая детализация |
✓ | ✓ | ✓ | ✓ |