Новости по теме «Microsoft патентует GPU-ускорение кодирования видео»

Новый API Video Encode позволяет видеодвижкам использовать GPU для проведения расчётов кодировки видео, используя стандартный набор возможностей DirectX 12. Это значит, что сторонние разработчики смогут использовать эти возможности и в своих приложениях. Важно отметить, что API Vulkan уже включает возможности для кодирования и декодирования видео-форматов H264 и H265.

Что касается DX12, то здесь по стандарту будет реализована поддержка H264 и HEVC. Компания Microsoft рекомендует разработчикам в первую очередь реализовать поддержку каждого кодека и выпустить соответствующие инструменты кодировки, поскольку в драйверах эти возможности уже есть.

Средство Video Encode API включено в Windows 11 по умолчанию, а также может быть использовано через DirectX 12 Agility SDK (версия 1.700.10-preview и новее). Минимально для этого требуется видеокарта AMD Radeon RX 5000 или процессор Ryzen 2xxxx; NVIDIA GeForce GTX 10xx, GeForce RTX 20xx, Quadro RTX; Intel Tiger Lake, Ice Lake, Alder Lake (с начала 2022 года). На аппаратном обеспечении AMD функционал будет реализован через несколько месяцев.

Его целью была совместная разработка нового открытого мультимедийного формата и технологий. В 2018 году этот консорциум представил видеокодек AV1, который Netflix уже использует в мобильном приложении на Android.

Теперь же Microsoft сообщает, что в следующем поколении аппаратного обеспечения будет доступна аппаратная поддержка AV1 в устройствах на Windows 10.

Кодек AV1 обеспечивает на 50% лучшее сжатие, чем H.264 и на 20% лучшее, чем у VP9. В скором будущем декодирование потока AV1 будет выполняться с аппаратным ускорением, что снизит нагрузку на CPU и продлит время автономной работы ноутбуков.

К новому аппаратному обеспечению компания Microsoft отнесла, конечно же, новые видеокарты. К ним относятся NVIDIA GeForce RTX 30-й серии, AMD Radeon RX 6000-й серии и 11-е поколение процессоров Intel с графикой Iris Xe. Также для этого потребуется Windows 10 build 1909, расширение AV1 и браузер, способный отображать это видео с аппаратным ускорением.

По информации Microsoft, первоначальная поддержка VP9 появится в ближайших сборках ОС Windows Insider Preview. С самого начала будет поддерживаться адаптивное вещание в браузере в случае, если видео представлено комбинацией MP4/AAC или звукового кодека, уже поддерживаемого Microsoft. Компания также сообщила о поддержке и прочих форматов звука, среди которых Opus, OGG и Vorbis.

В дальнейшем же Microsoft хочет разработать новые открытые технологии и форматы, которые отвечают нуждам будущих медиа приложений. Для этого компания выступила одним из основателей новой ассоциации Alliance for Open Media. Среди других крупных игроков рынка в этот альянс вошли Google, Intel, Netflix и Amazon.

Одним из новшеств архитектуры Sandy Bridge процессоров Intel Core iX второго поколения является наличие выделенных блоков в составе графического ядра для декодирования и кодирования видео в популярных форматах. Последняя функция под названием Quick Sync продемонстрировала неплохие результаты в обзорах, показав впечатляющие качество и скорость операций. Хотя ранее предполагалось, что данная функциональность будет доступна через универсальные APIвроде OpenCL, пока что единственный способ её использовать — использовать собственный Intel Media SDK 2.0, с библиотеками которого должны соединяться приложения. К выходу Sandy Bridge ряд разработчиков представил соответствующие приложения, но в основном это простенькие редакторы и конвертеры, рассчитанные на широкие массы конечных пользователей.

Для профессионалов Intel выпустила плагин для известного редактора Adobe Premiere Elements и Premiere Pro, позволяющий осуществлять экспорт проектов с аппаратным ускорением кодирования. Поддерживается кодирование видео в стандарты H.264 и MPEG-2, Intel обещает двух-трёхкратное ускорение для H.264 в сравнении с кодеками Adobe. Для работы плагина требуются 32- или 64-битная версия Windows 7, Adobe Premiere Elements версий 8-9 или Premiere Pro CS4-5, ну и сам процессор архитектуры Sandy Bridge, причём должно быть доступно встроенное графическое ядро — аппаратное ускорение будет недоступно при отключенном ядре или при запуске приложения на мониторе, обслуживаемом видеокартой.

В ожидании новых процессоров плагин можно проверить и на существующих, в программном режиме, для чего потребуется установить Intel Media SDK 2.0.

Пока что плагин предоставляется в демонстрационных целях, в будущем не исключено появление коммерческого продукта. Напомним, что в Premiere CS5 уже был реализован механизм использования аппаратного ускорения в Mercury Playback Engine, но он не ускоряет операции экспорта и финального кодирования, работает только через NVIDIA CUDA и то лишь для небольшого количества видеокарт.

На конференции MIX10 Microsoft опубликовала предварительную технологическую версию следующего поколения своего веб-браузера. Особый упор был сделан на использование аппаратного ускорения GPU в новом движке.

Прежде всего, новый движок осуществляет рендеринг изображений и текстов с помощью API Direct2D, появившегося в Windows 7 и доступного в качестве обновления для Windows Vista. Рендеринг конечного изображения страницы занимает достаточно большой процент общего времени отображения страницы и использование нового API, специально разработанного для ускорения вывода двухмерной графики и шрифтов, позволяет заметно ускорить этот процесс.

Также в IE 9.0 будет реализовано аппаратное ускорение стандарта векторной графики SVG. Операции с векторной графикой всегда отличались ресурсоёмкостью, и вычислительные мощности GPU пришлись как нельзя кстати. Да и в целом, поддержка SVG ранее в браузерах от Microsoft отсутствовала как класс.

Помимо GPU-ускорения, разработчики следующей версии Internet Explorer не остались в стороне и от еще одной актуальной технологии — многопоточности. Интерпретатор JavaScript «Chakra» использует отдельный поток для компиляции JS на лету и оптимизирован для новых процессоров Intel Core i7. Microsoft приводит результаты бенчмарков, согласно которых IE9 встал вровень со своими конкурентами по производительности JavaScript.

Несколько видео от разработчиков:

• Аппаратное ускорение в Internet Explorer 9 (WMV, ~180 Мб)
• Поддержка SVG в Internet Explorer 9 (WMV, ~240 Мб)

Этот движок с помощью видеокарт NVIDIA позволяет значительно ускорить скорость рендеринга сцен с наложением множества слоёв, с добавлением эффектов и проч. Также благодаря CUDA и видеокартам NVIDIA Quadro ускоряется и предварительный просмотр результатов монтажа.

Всё это стало возможным благодаря тесной работе разработчиков из Adobe с командой специалистов из NVIDIA во главе с Андрю Креши, который рассказал немного о работе своей команды в небольшом видеоролике.

Книга посвящена основам и методам программированию на языке CUDA. На специальном видеоролике, выложенном NVIDIA в своём блоге, господин Кирк немного рассказывает о  своей книге. Он говорит, что она создана для начинающих программистов, студентов и профессионалов, желающих понять архитектуру и основные принципы работы GPU.

Также он отмечает, что уже сейчас CUDA преподаётся в 300 университетах и наличие такого пособия является очень важным для преподавания. Также он сказал, что думает о будущих изданиях книги, в которых будут раскрыты особенности программирования с использованием возможностей будущих высокопараллельных графических процессоров.

Подробнее узнать о книге можно на специальном мини-сайте. Купить книгу можно в интернет-магазинах: Elsevier, Amazon или Barnes & Noble.

Достижение прироста во многих аспектах работы Premiere Pro при использовании видеокарт NVIDIA стало возможным благодаря разработке движка Adobe Mercury Playback.

В связи с этим на своём Youtube-канале NVIDIA опубликовала ряд видеороликов, показывающих преимущество профессиональных решений NVIDIA Quadro над обычными процессорами в этой новой программе для видеомонтажа.

Первый ролик показывает очевидный прирост при использовании эффекта удаления фона.

Второе видео показывает ускорение работы с видео при создании ролика выского разрешения с эффектом «картинка в картинке».

Третий ролик показывает ускорение при создании проекта с многослойным видео.

Четвёртое видео демонстрирует прирост при использовании многослойной цветовой коррекции при монтаже видео.

Пятый ролик показывает огромный прирост при кодировании видео.

Наконец, последнее видео представляет собой живую демонстрацию ускорения, которое обеспечивает движок Adobe Mercury Playback. Обин Олсен из Dv3 Productions показывает как система с двумя 4-ядерными 8-потоковыми процессорами Intel Core i7 не может справиться плавным рендерингом видео, созданного в демонстрации, в то время как CUDA позволяет добиться полностью плавного воспроизведения в реальном времени.

В блоге nTersect представитель NVIDIA Mark Priscaro рассказал о будущем GPU-ускоряемом движке работы с видео Mercury Playback Engine от Adobe, который ляжет в основу следующей версии Adobe Premiere.

Использование NVIDIA CUDA в Mercury Engine позволит буквально уничтожить задержки при многих операциях с видео, от простой прокрутки временной шкалы до наложения сложных эффектов в реальном времени. Можно будет наложить одновременно буквально тысячи клипов на шкалу, SD, HD или даже еще большего уровня качества. Детали изложены в представленных видео:

Неприятной же новостью стало объявление, что поддержка GPU-ускорения будет доступна только для ограниченного числа видеокарт NVIDIA Quadro: Quadro FX 3800, Quadro FX 4800 и Quadro FX 5800. Возможно, потом к ним присоединятся карты на базе Fermi, но похоже, что повторяется история с ускорением спецэффектов в Photoshop CS4, доступного только в сочетании со специальной «видеокартой» Quadro CX.

К сожалению, демонстрация проводилась не в реальном времени: большинство показанных в этой демонстрации эффектов являлись предварительно визуализированными сценами из современных голливудских блокбастеров.

Однако, непрерывное развитие аппаратных физических расчётов, действительно, может принципиально изменить игровой процесс и усилить погружение в виртуальный мир.

«Вычисления на GPU и CPU демонстрируют невероятную мощь и возможность многоядерной совместной обработки данных», — отметил Ден Рид, корпоративный вице президент отдела высокотребовательных вычислений в Microsoft и добавил: «Работа NVIDIA с Microsoft и серверной платформой Windows HPC помогает учёным и исследователям во многих областях получить возможность достижения производительности суперкомпьютеров в различных приложениях».

Лаборатория NVIDIA Research разработала ряд приложений с поддержкой GPU-вычислений для платформы Windows HPC Server 2008, к примеру, визуализатор с трассировкой лучей, который может быть использован в передовом фотореалистичном моделировании автомобилей и проч. Калифорнийская компания работает с Microsoft Research для установки мощных вычислительных кластеров на базе параллельных процессоров Tesla GPU и исследования приложений, оптимизированных для работы с GPU.

Огромное количество ресурсоёмких задач может быть серьёзно ускорено благодаря технологии NVIDIA CUDA: это и сложный анализ массивов данных, и задачи обучения машин и корпоративные ресурсы предприятия наряду с научными приложениями вроде молекулярной динамики, финансовых вычислений, обработки сейсмических данных и многие другие высокопараллельные задачи.

Архитектура CUDA позволяет использовать как ресурсы центрального процессора, так и мощности графических ускорителей, работающих совместно.

Учёное сообщество первым осознало огромный потенциал расчётов  средствами параллельных процессоров NVIDIA, позволяющих добиться от 20 до 200-кратного преимущества в скорости работы.

В ролике говорится, что пользователи смогут наслаждаться HD-радио, HD-видео и 3D-играми без необходимости частой перезарядки батареи. Отмечается также удобство пользовательского интерфейса благодаря многоточечному сенсорному экрану: запустить фильм или включить музыку можно буквально несколькими движениями пальцев, а технология OLED сделает удобной работу с проигрывателем и в солнечный день.

Выход Zune HD состоится в ближайший вторник, 15 сентября.

Однако сейчас любой запрос к сопилоту обрабатывается в облаке. Это требует некоторого времени, а также несёт риски безопасности для предприятий. Решением является обработка запросов локально, однако для этого требуются ресурсы.

Сообщается, что Copilot требует NPU, который предлагает производительность на уровне 40 TOPS. Однако NPU, имеющийся в чипах Intel Core Ultra Meteor Lake обладает производительностью лишь 10 TOPS. В то же время Ryzen 8040 Hawk Point предлагает AI NPU со скоростью 16 TOPS. И вот, совсем недавно, AMD анонсировала второе поколение Ryzen AI NPU Strix Point на базе архитектуры XDNA 2, который уже обладает достаточной производительностью в 40 TOPS. Новые решения Intel Arrow Lake или Lunar Lake также должны иметь сходную производительность ИИ, что позволит использовать функционал Copilot офлайн на широком спектре компьютеров.

Конечно, со временем видеокарты станут быстрее, но пока что это проблема. И компания Microsoft хочет решить её. Она опубликовала новый патент, в котором описала метод, позволяющий снизить требования по видеопамяти при обработке трассировки лучей. Предложение компании подразумевает применение уровней детализации, LOD. Технология давно применяется в видеоиграх и предполагает, что отдалённые объекты прорабатываются менее детально.

Для трассировки лучей будет использоваться система иерархии, которая и будет определять, какие объекты требуют детальной проработки отражений, а какие нет. Предполагается, что отражения в луже от неоновой вывески прямо перед игроком будут обработаны в первую очередь, а блики на автомобиле, который проезжает в далеке, просчитаны не будут вовсе. Всё это позволит сократить требования к объёму видеопамяти и позволит немного повысить производительность видеокарт.

Джошуа Такер, менеджер компании, описал новый DirectSR API как «потерянное звено» между игрой и технологией суперразрешения, обещая «гладкую, более эффективную работу, которая масштабируется на любом аппаратном обеспечении».

Так, новый API обеспечивает работу с технологиями суперразрешения от разных производителей через общий набор входов и выходов, позволяя одинаковым кодом активировать различные решения, включая NVIDIA DLSS Super Resolution, AMD FidelityFX Super Resolution и Intel XeSS.

В блоге отмечается, что в тестовая версия функции Automatic Super Resolution была опробована в Windows 11 и позволила поддерживаемым играм работать более плавно с улучшенной детализацией.

Технология будет доступна в ближайшее время посредством превью-версии Agility SDK.

Новая функция появится в меню Система-Дисплей-Графика и называется Automatic Super Resolution. В описании функции сказано: «используйте ИИ, чтобы сделать поддерживаемые игры более плавными с повышенной детализацией».

Если не вдаваться в технические детали, то функционал выглядит крайне похожим на DLSS от NVIDIA, которая также использует ускоритель задач ИИ для масштабирования изображения. Для этого используются специальные ядра Tensor, которые присутствуют в новых GPU. Как будет реализован этот функционал в Windows в аппаратном смысле, пока не ясно. Возможно, что будут задействованы ускорители ИИ, которыми будут оснащаться процессоры нового поколения как от Intel, так и AMD.

Сообщается, что полузаказной процессор Intel будет по функциональности сходным с ныншнем чипом AMD, при этом он получит CPU и GPU будущего поколения. Сама Intel опирается на то, что её новый процессор имеет отличные возможности для игр, не только в плане CPU, но и графики Xe Alchemist, особенно на фоне подготовки к выпуску нового поколения графики Xe² Battlemage уже в этом году. Новый полузаказной чип Intel может содержать разную комбинацию вычислительных ядер, будь то Lunar Lake или Panther Lake, а графика может быть основана на той же Battlemage или новой Xe³ Celestial. Кроме того, Intel может интегрировать и блок NPU.

Стоит отметить, что Microsoft не первый раз может использовать процессоры Intel. Первое поколение консоли Microsoft Xbox основывалось на процессоре Pentium 3 Coppermine и графике GeForce 3 от NVIDIA.

Об этом сообщила компания Microsoft, которая назвала это «первым значимым изменением в клавиатуре Windows PC за почти 3 десятилетия». Равно как и кнопка Win, которая открывает меню Пуск, кнопка Copilot позволит мгновенно открыть ИИ-компаньон.

Похоже, что Microsoft решила всерьёз продвигать своего ИИ-ассистента. Кроме того, это демонстрирует стремление Microsoft по развитию технологий искусственного интеллекта, и эти усилия максимальны.

Компания уверяет, что клавиша Copilot появится на новых компьютерах уже весной.

Сообщается, что в основе консолей будут процессоры AMD архитектуры Zen 5 и графики архитектуры Radeon RDNA 5, и по сравнению с нынешними Zen 2 и RDNA 2, данный переход ознаменует гигантский скачок в производительности.

Ранее сообщалось, что в основе будущей консоли ляжет процессор с архитектурой Zen 6 или ARM64, но с графикой так же RDNA 5. Что касается применения в будущей консоли NPU (Neural Processing Unit), для ускорения задач ИИ, то пока такой информации нет.

Начиная с 14 октября компания прекратит выпуски регулярных обновлений безопасности для этой ОС, а также «вторниковых патчей», регулярных обновлений функционала Windows 10. Данное объявление касается лишь клиентских редакций ОС и не касается Windows 10 Enterprise LTSC или специализированных версий для определённых предприятий и правительства. Такие организации, использующие Windows 10 Pro, могут получить доступ к программе ESU (extended security update), которая обеспечит им доступ к обновлениям безопасности и далее.

Таким образом, теперь Microsoft должна начать кампанию по привлечению пользователей в Windows 11 или даже Windows 12, которая, по слухам, появится уже в следующем году.

Первый из этих процессоров — Microsoft Azure Cobalt 100, 128-ядерный процессор, основанный на 64-битной архитектуре Armv9. Он создан специально для облачных ЦОД и станет частью стандартных предложений Microsoft. О процессоре предоставлено немного информации, сказано лишь, что он на 40% быстрее нынешнего поколения процессоров, обслуживающих Azure. Система на чипе использует платформу ARM Neoverse CSS, специализированную для Microsoft, с ядрами Arm Neoverse N2.

Вторым новшеством стала реализация процессора для ускорения серверов с ИИ, который необходим для работы с большими языковыми моделями. Компания Microsoft является домом для OpenAI ChatGPT, Microsoft Copilot и ряда других ИИ-сервисов. Чтобы сделать их максимально быстрыми компания вела проект Athena, который теперь получил имя Maia 100 AI, изготавливаемый по 5 нм нормам TSMC. Он содержит 105 миллиардов транзисторов и поддерживает множество форматов MX-данных, даже тех, что меньше 8 бит, для обеспечения максимальной производительности. Он протестирован на GPT 3.5 Turbo, однако его производительность ещё предстоит сравнить с такими акселераторами, как NVIDIA H100/H200 и AMD MI300X. Чип появится в центрах обработки данных Microsoft в начале следующего года.

Софтверный гигант представила Windows CE в 1996 году, никогда не расшифровывая, что это означает. Некоторые предполагают, что это означает «compact embedded», но это лишь догадки. Система появилась на волне успеха Windows, когда была выпущена Windows 95 и NT, невероятно популярные на настольных ПК. Иронично, что эта система позволила Microsoft достичь некоторых успехов на рынке смартфонов, и именно она оказалась неспособной противостоять Google и Apple.

В 2011 году компания решила заменить CE новой унифицированной платформой Windows 8, но также достигла успехов. Теперь же встраиваемые устройства работают с контейнером Win10 IoT, а поддержка Windows CE прекращена окончательно.

Обновление редактора Paint ожидается весьма существенным. Так, Microsoft планирует внедрение поддержки слоёв и прозрачность PNG. Каждый, кто сталкивался с редактированием изображений прекрасно осознаёт важность прозрачности и формата PNG, что позволяет комбинировать эти изображения в различных слоях.

Обновления пока доступны на канале Windows Insiders и они демонстрируют отдельную вертикальную панель со слоями. В этой панели можно скрывать, объединять, дублировать и удалять слои произвольно. Также в Paint появится шахматный фон, как у Photoshop, чтобы явно показать прозрачность.

Также компания анонсировала появление инструмента удаления фона в Paint, и она будет прекрасно работать имеющейся функцией прозрачности. Пока эти функции недоступны всем пользователям. Сначала они будут опробованы на каналах Canary and Dev, затем Beta и только потом — в свободном доступе.

При этом процесс окажется затяжным и будет длиться до 2027 года и может даже дольше, если какой-то из крупных производителей принтеров не обеспечит поддержку Mopria.

Что же такое Mopria? Это стандарт, созданы ещё в 2013 году объединением Canon, HP, Samsung и Xerox. Он представляет собой универсальный стандарт для печати и сканирования. Позднее к этой группе присоединилась Epson, Lexmark, Adobe и Microsoft. Поддержка Mopria была внедрена Microsoft в обновлении Windows 10 21H2, что обеспечило универсальную работу с принтерами, подключенными по сети или USB с использованием драйвера Microsoft IPP Class.

Сама Microsoft характеризовала эти изменения таким образом: «Это исключает необходимость для производителя печатающего устройства создания собственных инсталляторов, драйверов, утилит и так далее».

Новое партнёрское соглашение между Microsoft и Anaconda обеспечит нативную поддержку кода Python в Excel, обеспечив доступ к популярным научным библиотеками для Python, вроде Pandas, Matplotlib и Statsmodels. Эта интеграция обеспечит пользователям Excel доступ к полным возможностям Python в плане обработки данных, анализа и визуализации без перехода между различными инструментами. Интеграция уже доступна на канале Microsoft 365 Insider beta.

Инструмент добавлен как функция Excel Power Query. Для доступа к ней нужно перейти во вкладку Формулы и там найти опцию «Вставить Python». После этого можно будет написать и исполнить скрипты Python непосредственно из рабочего листа Excel. Эта функция ограничена временем, для полноценного доступа будет предложено купить подписку.

Очевидно, что такие шаги Microsoft свидетельствуют о стремлении компании к замене VBA на Python, как средства программирования и автоматизации в Excel. Благодаря этому Excel продолжит своё развитие как единый хаб для аналитических задач с универсальным доступом к инструментам. Для получения всех преимуществ Anaconda разработает документацию и создаст обучающие ресурсы.