Новости про DLSS и NVIDIA

ИИ-масштабирование от NVIDIA теперь работает на веб-видео

Технология масштабирования на основе искусственного интеллекта от NVIDIA, доступная в картах серии RTX, позволяет заметно улучшить качество картинки в играх без влияния на производительность. Теперь же эта технология станет доступной и для веб-видео при использовании видеокарт Ampere и Ada Lovelace.

Так, начиная с февраля на PC, при использовании видеокарт серий RTX 40 и RTX 30, можно будет масштабирование видео разрешением 1080p до 4K. Работать это будет в браузере Google Chrome и Microsoft Edge. Пока не ясно, почему технология не будет работать с RTX 20, ведь функционал DLSS доступен и в этой серии ускорителей. Будем надеется, что в будущем перечень доступных моделей GPU расширится, как появится и поддержка браузера Firefox.

На CES 2023 NVIDIA представила короткое видео с демонстрацией работы RTX Video Super Resolution. В ролике сравнивается видео Apex Legends в разрешении 1080p с масштабированием до 4K. При увеличении картинки видно, что ИИ успешно сглаживал блочные артефакты возле объектов.

Демонстрация не показывает множество движений, а те что есть — медленные, так что как будет работать технология в динамичных сценах пока не понятно.

Introducing RTX Video Super Resolution - 4K AI Upscaling for Chrome & Edge Video

Сейчас NVIDIA предлагает лишь масштабирование от 1080p до 4K. Это интересный и грамотный подход, поскольку большинство стриминговых сервисов, кроме Netflix и YouTube, ограничивают PC-пользователей к доступу к контенту в разрешении 4K, и применение технологии Video Super Resolution позволит насладиться видео с Amazon Prime Video или Hulu в высочайшем качестве.

Valve сотрудничает с NVIDIA над реализацией DLSS в Linux

Компания NVIDIA объявила о начале сотрудничества с Valve по обеспечению своей графической технологии Deep Learning Super Sampling (DLSS) в Linux посредством Steam Proton.

«NVIDIA, Valve и игровое сообщество Linux сотрудничают для внедрения NVIDIA DLSS в Proton. Геймеры в Linux смогут использовать специализированные ядра ИИ в GPU GeForce RTX для увеличения частоты кадров в своих любимых Windows-играх, запущенных в операционной системе Linux. Поддержка игр с Vulkan появится в этом месяце, а с DirectX — осенью», — сказано в пресс-релизе компании.

NVIDIA DLSS

Реализация этого подхода позволит Linux-геймерам с видеокартами RTX получить преимущества от ИИ-инструмента для повышения частоты кадров в играх через Steam. Proton — это инструмент с открытым исходным кодом от Valve, который позволяет запускать Windows-игры на Linux. Этот инструмент встроен в Linux Steam Client Beta.

Данные новости появились после того, как AMD анонсировала конкурента NVIDIA DLSS, технологию FidelityFX Super Resolution, которая на поверку оказалась эффективной не только с ускорителями AMD, но и NVIDIA.

NVIDIA работает над общедоступной версией теста Marbles at Night

Похоже на то, что компания NVIDIA готовится выпустить общедоступную версию технологической демонстрации Marbles at Night, сделав из неё один из самых красивых тестов.

Marbles at Night является одной из самых эффектных демонстраций технологии RTX, включая трассировку лучей и DLSS для создания визуальных эффектов кинематографического качества в реальном времени. Компания демонстрировала это демо с картами Turing, а затем и Ampere, давая представление о возможностях своей технологии. Однако это демо до сих пор недоступно для владельцев карт серий RTX.

Marbles at Night

И вот, согласно свежим слухам, компания NVIDIA близка к полноценному выпуску Marbles at Night как игры. Об этом также гласил твит в аккаунте NVIDIA Omniverse. В уже удалённом сообщении говорилось, что компания находится на расстоянии «одного бага» от выпуска Marbles at Night как полноценного игрового демо.

NVIDIA Marbles at Night | RTX Demo

В каком виде это демо будет доступно, простой игры или бенчмарка, пока не известно.

NVIDIA выпускает Deep Learning Super Sampling 2.0

Компания NVIDIA анонсировала вторую версию средства повышения масштабирования DLSS.

В основе DLSS 2.0 лежит нейронная сеть, которая использует яра NVIDIA RTX Tensor Core для повышения частоты кадров и генерации резких кадров, качество которых соответствует или превышает рендер в родном разрешении.

Технология была обучена на десятках тысяч изображений с высоким разрешением. После обучения, искусственный интеллект в DLSS 2.0 может брать изображения с низким разрешением и конструировать изображения с высоким разрешением.

Сравнение изображения с включённой и выключенной DLSS

Производительность, при использовании Tensor Core, может достигать 110 терафлопс. При этом DLSS 2.0 работает вдвое быстрее предшественника. По словам NVIDIA, имеется возможность одновременной работы 3D игры и сети с глубоким обучением в реальном времени. Более того, DLSS 2.0 используется специальные техники, которые позволяют обсчитывать только четверть или половину пикселей, сохраняя качество, сравнимое с родным разрешением.

Первая версия DLSS использовала специально обученные алгоритмы для каждой игры. Вторая версия позволяет не привязываться к конкретной игре. Она доступна для всех игр.

NVIDIA DLSS 2.0 | A Big Leap In AI Rendering

Технология DLSS 2.0 имеет три режима качества игрового рендера: Quality, Balanced и Performance. В последнем режиме масштабирование осуществляется в 4 раза, с 1080p до 4K.

NVIDIA обещает улучшить качество DLSS

Компания NVIDIA подверглась шквалу критики из-за технологии сглаживания DLSS, которая не только недоступна на подавляющем большинстве видеокарт, но и, как оказалась, не блещет качеством.

Изначально технология анонсировалась как замена TAA без потери качества и производительности, однако по факту картинка оказалась немного мыльной. Даже на флагманском для DLSS проекте Battlefield V, алгоритмы пришлось дорабатывать.

Сравнение сглаживания TAA и DLSS

Компания NVIDIA уверяет, что постоянно работает над улучшением качества. Она сообщила, что недавно обновила ядро DLSS, вошедшее в драйвер 418.91. Так, для Battlefield V сглаживание DLSS было улучшено для разрешения 4K и 2560x1440 пикс., что позволило поднять производительность на 40%. Также ведётся обучение для изображения разрешением 1920x1080 и 440x1440 пикселей.

Также компания готовит обновление для Metro Exodus, которое позволит увеличить резкость и общее качество картинки на всех разрешениях, которые не получили поддержки в день релиза игры. Объявлено, что NVIDIA работает над большим числом других игр, которые после тренировки ИИ получат заметное улучшение качества, включая оптимизацию HDR.

AMD не верит в технологию NVIDIA DLSS

Компания AMD не считает интересной технологию сглаживания DLSS, предлагаемую NVIDIA, и продолжает развивать традиционные технологии, включая SMAA (Enhanced Subpixel Morphological Antialiasing) и TAA (Temporal Antialising).

Директор по маркетингу AMD Саса Маринкович отмечает, что SMAA и TAA используются в нынешнем поколении открытых фреймворков. Эти фреймворки «будут широко реализованы в современных играх и исключительно хорошо работают на Radeon VII». Он считает, что лучше развивать имеющиеся разработки, а не вкладывать деньги в очередное проприетарное решение.

Видеокарта AMD Radeon VII

В AMD считают, что выход технологии DLSS на рынок был провальным из-за низкого проникновения (Market penetration). По сути, AMD в очередной раз решила противопоставить свои открытые решения против проприетарного решения от NV. Компания сравнила качество изображения улучшенного DLSS и TAA, отметив, что TAA работает с таким же качеством, но «без артефактов изображения, вызванных масштабированием и повышенной зернистостью в DLSS».

Всё это конечно так, только DLSS — это не о качестве, это о скорости. AMD же остаётся говорить лишь от лица конкурента, у которого нет альтернативного решения. Теоретически, AMD может внедрить похожее на DLSS решение средствами GPGPU, но пока до этого далеко, и всё что компании остаётся — пробивать себе дорогу доступной ценой.

NVIDIA показала возможности DLSS в Final Fantasy XV

Компания NVIDIA создала демонстрацию работы своего нового алгоритма сглаживания DLSS в Final Fantasy XV.

Данная технология сглаживания расшифровывается как Deep Learning Super Sampling. Как следует из названия, её работа построена на глубоком обучении нейросетей, а потому, для работы необходимо наличие в видеоадаптерах тензорных ядер, которые присутствуют в ускорителях на базе GPU Volta и Turing.

Технология предлагает практически неотличимое от TAA сглаживание, но ценой намного меньшей нагрузки на GPU.

Сравнение сглаживания в Final Fantasy XV

В видеоролике приведено сравнение работы сглаживания TAA на GeForce GTX 1080 Ti с DLSS на GeForce RTX 2080 Ti. Тест выполнялся в разрешении 4K.

Надо сказать, что результат хорош, однако на наш взгляд TAA справляется точнее, а DLSS слегка замыливает картинку. Кроме того, условия теста не равны, ведь RTX 2080 Ti заметно производительнее GTX 1080 Ti в типичных задачах. В любом случае, результат даёт NVIDIA право похвастать приростом частоты кадров на 20—30%.

Final Fantasy XV with DLSS Beta Support

В настоящее время DLSS поддерживают 25 игр, среди которых такие проекты как Darksiders III, Overkill's The Walking Dead, Ark: Survival Evolved, Atomic Heart, Final Fantasy XV, Hitman 2, Mechwarrior 5, PlayerUnknown’s Battlegrounds, Serious Sam 4: Planet Badass и Shadow of the Tomb Raider.