NVIDIA использует ядра Tensor вместо зелёного экрана

Компания NVIDIA представила движок RTX Broadcast Engine, который задействует тензорные ядра в графических процессорах серии GeForce RTX для фильтрации фонового изображения и создания эффекта «зелёного экрана».

Эта технология предлагает живую фильтрацию, виртуальный зелёный экран и прочие технологии, которые пригодятся игровым стримерам в Twitch. Суть технологии заключается в полном удалении фона за спиной комментатора игрового стрима. Этот фон можно заменить непосредственно игровым процессом, или любым другим изображением.

RTX Broadcast Engine
RTX Broadcast Engine

«Модель ИИ RTX Greenscreen понимает, какой частью изображения является человек, а какой — фон, так что геймеры смогут получить преимущества зелёного экрана, не приобретая таковой».

NVIDIA RTX Broadcast Engine | Introducing Real-Time AI SDKs for Streaming
NVIDIA RTX Broadcast Engine | Introducing Real-Time AI SDKs for Streaming

Также инструментарий RTX Broadcast Engine предлагает некоторый функционал дополненной реальности. Он использует вебкамеру для определения лица, а затем отслеживает мимику. Таким образом можно наложить речь и эмоции на 3D-персонажа, так же, как это умеют делать флагманские смартфоны.