Компания Nvidia выпустила обновление для технологии DLSS (версия SDK 310.3.0), которое позволяет снизить использование видеопамяти на 20% при масштабировании изображения.
Оптимизация модели Transformer
Это стало возможным благодаря оптимизации модели Transformer, которая обеспечивает более высокое качество картинки по сравнению со свёрточной нейронной сетью (CNN). Ранее DLSS Transformer требовала почти в два раза больше памяти, чем CNN, но после доработок разница сократилась до 40%.
Экономия видеопамяти
Например, при разрешении 1080 пикселей обновлённый алгоритм использует 85,77 Мбайт VRAM вместо прежних 106,9 Мбайт, тогда как CNN занимала 60,83 Мбайт. При этом потребление видеопамяти масштабируется линейно: в 4K оно возрастает в 3,5 раза, достигая 307,37 Мбайт.
Практическое значение оптимизации
На практике, как пишет Tom’s Hardware, экономия в 80 Мбайт при 4K-разрешении вряд ли будет заметна, учитывая объёмы VRAM современных видеокарт. Однако для 8K, где DLSS может расходовать более гигабайта памяти, оптимизация становится более значимой.
Качество апскейлинга
В Nvidia подчеркнули, что снижение нагрузки на видеопамять не повлияло на качество апскейлинга — «трансформер» DLSS 4 содержит вдвое больше параметров, чем CNN-аналог, обеспечивая изображение, близкое к оригиналу.
Применение и будущие разработки
Также отмечается, что снижение потребления видеопамяти касается только масштабирования изображения, а не генерации кадров. Что касается последней версии «трансформера», то она уже принесла 30-процентную экономию VRAM. В частности, в игре Warhammer 40,000: Darktide при использовании DLSS 4 вместо DLSS 3 потребление видеопамяти на 4K снизилось на 400 Мбайт.
В будущем ожидается дальнейшее развитие технологии DLSS, что может привести к ещё большей экономии видеопамяти и улучшению качества изображения.
RU 
EN