Новости про DLSS

Новая функция появится в меню Система-Дисплей-Графика и называется Automatic Super Resolution. В описании функции сказано: «используйте ИИ, чтобы сделать поддерживаемые игры более плавными с повышенной детализацией».

Если не вдаваться в технические детали, то функционал выглядит крайне похожим на DLSS от NVIDIA, которая также использует ускоритель задач ИИ для масштабирования изображения. Для этого используются специальные ядра Tensor, которые присутствуют в новых GPU. Как будет реализован этот функционал в Windows в аппаратном смысле, пока не ясно. Возможно, что будут задействованы ускорители ИИ, которыми будут оснащаться процессоры нового поколения как от Intel, так и AMD.

Так, начиная с февраля на PC, при использовании видеокарт серий RTX 40 и RTX 30, можно будет масштабирование видео разрешением 1080p до 4K. Работать это будет в браузере Google Chrome и Microsoft Edge. Пока не ясно, почему технология не будет работать с RTX 20, ведь функционал DLSS доступен и в этой серии ускорителей. Будем надеется, что в будущем перечень доступных моделей GPU расширится, как появится и поддержка браузера Firefox.

На CES 2023 NVIDIA представила короткое видео с демонстрацией работы RTX Video Super Resolution. В ролике сравнивается видео Apex Legends в разрешении 1080p с масштабированием до 4K. При увеличении картинки видно, что ИИ успешно сглаживал блочные артефакты возле объектов.

Демонстрация не показывает множество движений, а те что есть — медленные, так что как будет работать технология в динамичных сценах пока не понятно.

Сейчас NVIDIA предлагает лишь масштабирование от 1080p до 4K. Это интересный и грамотный подход, поскольку большинство стриминговых сервисов, кроме Netflix и YouTube, ограничивают PC-пользователей к доступу к контенту в разрешении 4K, и применение технологии Video Super Resolution позволит насладиться видео с Amazon Prime Video или Hulu в высочайшем качестве.

Софтверный гигант опубликовал две вакансии на своей карьерной странице. Одна из них называется старший программный инженер, а вторая — главный программный инженер по графике. Названия вполне обычные для разработчиков ПО, равно как и род деятельности, но это на первый взгляд. Если почитать вакансии внимательно, то можно найти в них такую запись: «реализация алгоритмов машинного обучения в графическом программном обеспечении на радость миллионам игроков». При этом требуется «тесно» работать с партнёрами над разработкой ПО для создания «будущего аппаратного обеспечения для машинного обучения». К таким партнёрам могут быть отнесены студии-разработчики игр и даже сами разработчики процессоров, то есть — AMD. Сама же AMD нахваливала технологию масштабирования DirectML, когда впервые демонстрировала программу FidelityFX, а вот когда уже выпускала FSR — нет.

Примечательно, что Microsoft начала искать новых специалистов 30 июня, через несколько дней после того, как AMD выпустила FidelityFX Super Resolution, которую сама Microsoft пообещала внедрить в серию продуктов Xbox.

Безусловно, один готовый продукт вовсе не означает, что компания не будет его улучшать. AMD продолжает работу над усовершенствованием FSR, а Microsoft продолжает использовать все преимущества ML-масштабирования, равно как NVIDIA улучшает DLSS. Однако заинтересуется ли Редмонд разработкой AMD, или будет создавать всё сама, покажет время. А мы уже неоднократно наблюдали, как графические технологии AMD со временем становятся промышленными стандартами.

«NVIDIA, Valve и игровое сообщество Linux сотрудничают для внедрения NVIDIA DLSS в Proton. Геймеры в Linux смогут использовать специализированные ядра ИИ в GPU GeForce RTX для увеличения частоты кадров в своих любимых Windows-играх, запущенных в операционной системе Linux. Поддержка игр с Vulkan появится в этом месяце, а с DirectX — осенью», — сказано в пресс-релизе компании.

Реализация этого подхода позволит Linux-геймерам с видеокартами RTX получить преимущества от ИИ-инструмента для повышения частоты кадров в играх через Steam. Proton — это инструмент с открытым исходным кодом от Valve, который позволяет запускать Windows-игры на Linux. Этот инструмент встроен в Linux Steam Client Beta.

Данные новости появились после того, как AMD анонсировала конкурента NVIDIA DLSS, технологию FidelityFX Super Resolution, которая на поверку оказалась эффективной не только с ускорителями AMD, но и NVIDIA.

Компания AMD провела демонстрацию работы своей технологии экстраполяции на примере игры Godfall и видеокарты NVIDIA GeForce GTX 1060. При этом игра работала в разрешении 1440p на настройках Epic. В обычном режиме видеокарта GTX 1060 выдавала в игре 27 к/с, а при включении FSR скорость повышалась до 38 к/с. Это значит, что эффект составил 41%.

Но почему AMD выбрала видеокарту конкурента? Дело в том, что GeForce GTX 1060 является самой популярной видеокартой в Steam, а значит увидев эти результаты наибольшее число пользователей смогут оценить эффективность работы новой технологии.

На самом деле — это удивительный результат. Особенно удивляет то, что FSR может работать на картах AMD, NVIDIA, а также на консолях Microsoft Xbox Series X/S и Sony PlayStation 5.

Этот результат также должен привести к резкому росту популярности FSR среди разработчиков. Действительно, зачем поддерживать проприетарную технологию NVIDIA DLSS и AMD FidelityFX Super Resolution, если последняя прекрасно справляется с задачей на всех видеокартах.

Marbles at Night является одной из самых эффектных демонстраций технологии RTX, включая трассировку лучей и DLSS для создания визуальных эффектов кинематографического качества в реальном времени. Компания демонстрировала это демо с картами Turing, а затем и Ampere, давая представление о возможностях своей технологии. Однако это демо до сих пор недоступно для владельцев карт серий RTX.

И вот, согласно свежим слухам, компания NVIDIA близка к полноценному выпуску Marbles at Night как игры. Об этом также гласил твит в аккаунте NVIDIA Omniverse. В уже удалённом сообщении говорилось, что компания находится на расстоянии «одного бага» от выпуска Marbles at Night как полноценного игрового демо.

В каком виде это демо будет доступно, простой игры или бенчмарка, пока не известно.

Технология Deep Learning Super Sampling (DLSS) от NVIDIA помогает владельцам карт GeForce RTX сохранять высокую частоту кадров при использовании трассировки лучей. Производительность многих игр, благодаря её внедрению, увеличилась кардинально. Чтобы ей противостоять компания AMD готовит собственную аналогичную технологию FidelityFX Super Resolution, которую подготовят для широкого спектра платформ.

Линус пояснил: «Вместо того, чтобы продвигать FidelityFX Super Resolution сразу на новых топовых видеокартах, они хотят сделать её кросс-платформенной во всех смыслах этого слова. Так, они на самом деле хотели сделать её работоспособной на всех своих GPU, включая консоли, до того, как включить тумблер. Было бы неплохо иметь её готовой к моменту выпуска видеокарт, но как мы видели в сравнении NVIDIA DLSS 1.0 против DLSS 2.0, это ожидание может быть к лучшему».

Однако NVIDIA не планирует на этом останавливаться, и в процессорах Ampere нам будет доступна технология DLSS 3.0. Эта версия технологии будет работать с любой игрой с TAA, однако для этого будет необходим специальный Game Ready драйвер. Это значит, что разработчикам придётся провести некоторую программную адаптацию к каждой игре, однако данный процесс будет проходить куда легче, чем сейчас.

Что касается производительности, то сообщается, что результаты будут сильно зависеть от игры, но в любом случае среднее качество будет лучше, чем раньше.

В особых же случаях DLSS 3.0 будет работать по умолчанию, с принудительным включением этой опции в некоторых играх и бенчмарках, что позволит NVIDIA успешнее конкурировать с RDNA 2.

В основе DLSS 2.0 лежит нейронная сеть, которая использует яра NVIDIA RTX Tensor Core для повышения частоты кадров и генерации резких кадров, качество которых соответствует или превышает рендер в родном разрешении.

Технология была обучена на десятках тысяч изображений с высоким разрешением. После обучения, искусственный интеллект в DLSS 2.0 может брать изображения с низким разрешением и конструировать изображения с высоким разрешением.

Производительность, при использовании Tensor Core, может достигать 110 терафлопс. При этом DLSS 2.0 работает вдвое быстрее предшественника. По словам NVIDIA, имеется возможность одновременной работы 3D игры и сети с глубоким обучением в реальном времени. Более того, DLSS 2.0 используется специальные техники, которые позволяют обсчитывать только четверть или половину пикселей, сохраняя качество, сравнимое с родным разрешением.

Первая версия DLSS использовала специально обученные алгоритмы для каждой игры. Вторая версия позволяет не привязываться к конкретной игре. Она доступна для всех игр.

Технология DLSS 2.0 имеет три режима качества игрового рендера: Quality, Balanced и Performance. В последнем режиме масштабирование осуществляется в 4 раза, с 1080p до 4K.

Изначально технология анонсировалась как замена TAA без потери качества и производительности, однако по факту картинка оказалась немного мыльной. Даже на флагманском для DLSS проекте Battlefield V, алгоритмы пришлось дорабатывать.

Компания NVIDIA уверяет, что постоянно работает над улучшением качества. Она сообщила, что недавно обновила ядро DLSS, вошедшее в драйвер 418.91. Так, для Battlefield V сглаживание DLSS было улучшено для разрешения 4K и 2560x1440 пикс., что позволило поднять производительность на 40%. Также ведётся обучение для изображения разрешением 1920x1080 и 440x1440 пикселей.

Также компания готовит обновление для Metro Exodus, которое позволит увеличить резкость и общее качество картинки на всех разрешениях, которые не получили поддержки в день релиза игры. Объявлено, что NVIDIA работает над большим числом других игр, которые после тренировки ИИ получат заметное улучшение качества, включая оптимизацию HDR.

Директор по маркетингу AMD Саса Маринкович отмечает, что SMAA и TAA используются в нынешнем поколении открытых фреймворков. Эти фреймворки «будут широко реализованы в современных играх и исключительно хорошо работают на Radeon VII». Он считает, что лучше развивать имеющиеся разработки, а не вкладывать деньги в очередное проприетарное решение.

В AMD считают, что выход технологии DLSS на рынок был провальным из-за низкого проникновения (Market penetration). По сути, AMD в очередной раз решила противопоставить свои открытые решения против проприетарного решения от NV. Компания сравнила качество изображения улучшенного DLSS и TAA, отметив, что TAA работает с таким же качеством, но «без артефактов изображения, вызванных масштабированием и повышенной зернистостью в DLSS».

Всё это конечно так, только DLSS — это не о качестве, это о скорости. AMD же остаётся говорить лишь от лица конкурента, у которого нет альтернативного решения. Теоретически, AMD может внедрить похожее на DLSS решение средствами GPGPU, но пока до этого далеко, и всё что компании остаётся — пробивать себе дорогу доступной ценой.

Это сглаживание DLSS даёт весьма неплохой результат, практически не влияя на производительность. В недавнем интервью менеджер AMD по маркетингу продуктов GPU Адам Козак заявил, что компания ведёт эксперименты с расширенной версией Microsoft DirectML, чтобы получить эффект, подобный DLSS.

При этом Radeon VII демонстрирует превосходный результат. По мнению Козака, это значит, что эффекта DLSS можно достичь посредством функций GPGPU.

Он сообщил, что «пока радоваться рано, поскольку AMD лишь экспериментирует с DirectML. Пока это теоретические работы, но они могут быть реализованы на практике довольно быстро. Козак добавил, что новый функционал сглаживания стоит ожидать уже в декабре, вместе с новой версией драйвера Adrenalin, а если всё получится на Navi — то даже раньше».

Кроме DLSS Козак также рассказал, что в тестах трассировки, основанных на открытом исходном коде, Radeon VII значительно обошла GeForce RTX 2080. Он отметил, что именно открытые тесты стали одной из причин преимущества AMD, тем не менее, в OpenCL бенчмарке Luxmark будущий 7 нм GPU показал на 62% большую производительность, чем RTX 2080 в рендере трассировки лучей на базе GPGPU.

Данная технология сглаживания расшифровывается как Deep Learning Super Sampling. Как следует из названия, её работа построена на глубоком обучении нейросетей, а потому, для работы необходимо наличие в видеоадаптерах тензорных ядер, которые присутствуют в ускорителях на базе GPU Volta и Turing.

Технология предлагает практически неотличимое от TAA сглаживание, но ценой намного меньшей нагрузки на GPU.

В видеоролике приведено сравнение работы сглаживания TAA на GeForce GTX 1080 Ti с DLSS на GeForce RTX 2080 Ti. Тест выполнялся в разрешении 4K.

Надо сказать, что результат хорош, однако на наш взгляд TAA справляется точнее, а DLSS слегка замыливает картинку. Кроме того, условия теста не равны, ведь RTX 2080 Ti заметно производительнее GTX 1080 Ti в типичных задачах. В любом случае, результат даёт NVIDIA право похвастать приростом частоты кадров на 20—30%.

В настоящее время DLSS поддерживают 25 игр, среди которых такие проекты как Darksiders III, Overkill's The Walking Dead, Ark: Survival Evolved, Atomic Heart, Final Fantasy XV, Hitman 2, Mechwarrior 5, PlayerUnknown’s Battlegrounds, Serious Sam 4: Planet Badass и Shadow of the Tomb Raider.