Новости про NVIDIA и искусственный интеллект

NVIDIA выпускает Jetson Xavier NX

Компания NVIDIA выпустила новый ускоритель, который она назвала «самым маленьким и мощным суперкомпьютером ИИ для роботов и передовых встраиваемых вычислительных устройств».

Будучи меньше кредитной карты, энергоэффективный модуль Jetson Xavier NX обеспечивает производительность серверного уровня, до 21 триллиона операций в секунду при современной ИИ-нагрузке. При этом он потребляет лишь 10 ватт.

Модуль NVIDIA Jetson Xavier NX
Модуль NVIDIA Jetson Xavier NX

В качестве сферы применения, разработчики называют малые коммерческие роботы, дроны, средства оптического контроля, сетевые видеорекордеры, портативные медицинские устройства и прочие промышленные системы интернета вещей.

Характеристики Jetson Xavier NX таковы:

  • GPU: Volta с 384 ядрами CUDA cores и 48 ядрами Tensor, плюс 2x NVDLA.
  • CPU: 6-ядер Carmel ARM 64-бит, 6 МБ L2 + 4 МБ L3.
  • Видео: кодирование 2x4K30 и декодирование 2x4K60.
  • Камера: до шести камер CSI (36 через виртуальные каналы); 12 линий (3x4 или 6x2) MIPI CSI-2.
  • Память: 8 ГБ 128-бит LPDDR4X, 51,2 Гб/с.
  • Подключение: Gigabit Ethernet.
  • ОС: Ubuntu Linux.
  • Размер модуля: 70x45 мм.

Модуль Jetson Xavier NX будет доступен с марта 2020 года по цене 400 долларов.

NVIDIA использует ядра Tensor вместо зелёного экрана

Компания NVIDIA представила движок RTX Broadcast Engine, который задействует тензорные ядра в графических процессорах серии GeForce RTX для фильтрации фонового изображения и создания эффекта «зелёного экрана».

Эта технология предлагает живую фильтрацию, виртуальный зелёный экран и прочие технологии, которые пригодятся игровым стримерам в Twitch. Суть технологии заключается в полном удалении фона за спиной комментатора игрового стрима. Этот фон можно заменить непосредственно игровым процессом, или любым другим изображением.

RTX Broadcast Engine
RTX Broadcast Engine

«Модель ИИ RTX Greenscreen понимает, какой частью изображения является человек, а какой — фон, так что геймеры смогут получить преимущества зелёного экрана, не приобретая таковой».

Также инструментарий RTX Broadcast Engine предлагает некоторый функционал дополненной реальности. Он использует вебкамеру для определения лица, а затем отслеживает мимику. Таким образом можно наложить речь и эмоции на 3D-персонажа, так же, как это умеют делать флагманские смартфоны.

NVIDIA анонсирует новую ИИ платформу EGX

Компания NVIDIA анонсировала новую платформу искусственного интеллекта с низкими задержками обработки, которая получила название EGX.

Эта система предназначена для получения, понимания и осуществления действий в реальном времени на основе постоянно поступающих данных от базовых станций 5G, складов, розничных магазинов и заводов.

По словам разработчиков, система создана для обеспечения растущего спроса на обработку потоков данных средствами ИИ с высокой скоростью прямо на передовой, где эти данные создаются, с гарантированным временем отклика, снижая объём передаваемых в облако данных.

Платформа NVIDIA EGX
Платформа NVIDIA EGX

Аналитики считают, что к 2025 году в мире будет насчитываться 150 миллиардов машинных датчиков и устройств Интернета вещей, которые будут передавать данные, требующие обработки. Это больше данных, чем сейчас генерируют люди своими смартфонами. Серверы, подобные платформе EGX, будут размещены по всему миру, чтобы обрабатывать данные от этих датчиков.

Что касается аппаратной части, что EGX основывается на Jetson Nano, который при потреблении нескольких ватт может обрабатывать полтриллиона операций в секунду (TOPS) в задачах, подобных распознаванию изображений. Полноразмерные серверы NVIDIA T4 обеспечивают более 10 000 TOPS для распознавания речи в реальном времени и прочих задач ИИ.

NVIDIA превращает эскизы в фотореалистичные изображения с помощью ИИ

Компания NVIDIA представила новое применение своего искусственного интеллекта, которое позволяет преобразовать простые наброски в фотореалистичные изображения.

Модель глубокого обучения, созданная NVIDIA Research, превращает грубые эскизы в высокореалистичные сцены, используя для этого генеративную противопоставленную сеть (Generative Adversarial Networks — GAN). Благодаря ей инструмент, наподобие умной кисти, преобразовывает сегментарные карты в реальные изображения.

Превращение эскизов с помощью NVIDIA GAN
Превращение эскизов с помощью NVIDIA GAN

Как это выглядит, можно посмотреть в видеоролике лаборатории.

NVIDIA представила миникомпьютер с искусственным интеллектом

Компания NVIDIA сегодня представила миникомпьютер, который обладает базовым функционалом систем с искусственным интеллектом.

Названный Jetson Nano, компьютер предназначается для «разработчиков, создателей и энтузиастов». Внутри машины расположился графический процессор Maxwell со 128 ядрами и четырёхъядерный чип архитектуры ARM A57. Также платформа содержит 4 ГБ ОЗУ, порт Gigabit Ethernet и набор средств ввода-вывода для камер и датчиков.

Миникомпьютер NVIDIA Jetson Nano
Миникомпьютер NVIDIA Jetson Nano

По словам компании, машина способна обеспечить производительность в нейронных сетях на уровне 472 гигафлопс. Также машину предполагается использовать в системах роботизации, обработки данных с датчиков высокого разрешения и тому подобных отраслях. К примеру, на GitHub даже есть образовательный проект JetBot по созданию игрушечного автомобиля с автопилотом.

Образовательный проект JetBot
Образовательный проект JetBot

Потребляемая мощность Jetson Nano составляет 5 Вт, а значит компьютер прекрасно подойдёт для построения робота, смарт-спикера или какой-нибудь системы распознавания.

Конечно, Nano по производительности далеко до полноценной модели Jetson, зато он доступен за 99 долларов для обычных людей и за 129 для компаний, готовых использовать его в производстве.

NVIDIA использует ИИ для отрисовки реального мира

Компания NVIDIA сообщила, что её новая модель искусственного интеллекта позволяет отрисовывать новые миры без использования традиционного моделирования или рендера с применением графического движка.

Для этого компания использует глубокое обучение нейронной сети, которая анализирует существующее видео, а затем применяет эти элементы окружения в новой трёхмерной среде.

Хотя компания уверяет, что её новая технология может обеспечить революционный прорыв в создании 3D миров, с технологией ещё есть ряд проблем. Она позволяет автоматически создавать здания, деревья, транспорт и объекты в трёхмерном мире вместо рутинного процесса моделирования элементов сцены, однако результат ещё далёк от идеала.

Рендер с помощью ИИ NVIDIA
Рендер с помощью ИИ NVIDIA

На картинке, изображение справа сгенерировано искусственным интеллектом на карте NVIDIA Titan V с применением тензорных ядер. И выглядит она довольно блеклой и холодной. Однако эта сцена генерируется в реальном времени, и выглядит всё равно лучше рисованной сцены.

Кроме этого компания использует технологию для моделирования движений, например, танцевальных, и накладывания их на других персонажей в реальном времени. Это значит, что создание фейковых видео становится вполне реальным.

В NVIDIA предупреждают, что продукт пока не готов, но в будущем он предлагается для улучшения качества старых видеоигр. Этот проект имеет открытый исходный код, так что каждый может присоединиться к улучшению технологии.

NVIDIA выпускает видеокарту Titan RTX

За последние пару дней как грибы после дождя стали появляться намёки на выпуск NVIDIA видеокарты Titan RTX. И в компании не стали долго ждать, анонсировав ускоритель ценой 2500 долларов.

Как обычно с серией Titan, новая модель нацелена на создателей контента, исследователей в области ИИ и учёных. По данным разработчиков, карта RTX Titan обеспечивает 130 терафлопс в задачах глубокого обучения, что объединяется с 11 гигалучами в секунду для задач трассировки. Всё это достигается за счёт GPU архитектуры Turing.

Видеокарта NVIDIA Titan RTX
Видеокарта NVIDIA Titan RTX

Карта Titan RTX получила GPU с 576 ядрами Tensor мульти-точности для глубокого обучения, 72 ядрами RT для трассировки лучей. Также она содержит 24 ГБ памяти GDDR6 с пропускной способностью 672 ГБ/с и шину NVLink скоростью 100 ГБ/с.

Благодаря новой карте пользователи смогут строить и обучать нейронные сети быстрее, чем раньше, либо обрабатывать огромные массивы данных. Также плата открывает дверь для редактирования видео разрешением 8K в реальном времени.

Видеокарта NVIDIA Titan RTX будет доступна уже в этом месяце по цене 2500 долларов США.

NVIDIA опубликовала список игр с поддержкой DLSS

Компания NVIDIA всё время говорит о технологии RTX, но новые видеокарты компании обладают ещё одной интересной особенностью — тензорными ядрами для сглаживания на основе искусственного интеллекта, которая получила название DLSS.

Технология DLSS является принципиально новой в мире видеоигр. Эта аббревиатура расшифровывается как Deep Learning Super Sampling, и как следует из названия, сглаживание осуществляется с использованием глубокого обучения. Это вроде как помощь сглаживанию искусственным интеллектом. Благодаря тому, что расчёты выполняются специализированными ядрами, этот метод практически не влияет на производительность.

NVIDIA RTX
NVIDIA RTX

На специальной презентации компания NVIDIA представила список первых 16 игр, которые будут поддерживать DLSS. Этот список включает:

  • Ark: Survival Evolved
  • Atomic Heart
  • Dauntless
  • Final Fantasy 15
  • Fractured Lands
  • Hitman 2
  • Islands of Nyne
  • Justice
  • JX3
  • Mechwarrior 5: Mercenaries
  • PlayerUnknown’s Battlegrounds
  • Remnant: From the Ashes
  • Serious Sam 4: Planet Badass
  • Shadow of the Tomb Raider
  • The Forge Arena
  • We Happy Few

Позднее список был расширен ещё девятью играми, среди которых:

  • Darksiders III
  • Deliver Us The Moon: Fortuna
  • Fear the Wolves
  • Hellblade: Senua’s Sacrifice
  • KINETIK
  • Outpost Zero
  • Overkill’s The Walking Dead
  • SCUM
  • Stormdivers

NVIDIA Drive Pegasus обеспечит автопилот на автомобилях Bosch и Daimler

Год назад Daimler (Mercedes-Benz) и Bosch анонсировали совместную работу по созданию автопилотируемых такси.

Идея работы заключается в создании флота автоматизированных (уровень 4 SAE) и беспилотных (уровень 5 SAE) роботакси, которые управляются приложением.

Теперь обе компании объявили о своём выборе платформы для создания беспилотного транспортного средства. Выбор пал на платформу NVIDIA Drive Pegasus. Эта система была специально создана для обеспечения беспилотного автомобиля 5-го уровня. Она построена на двух SoC Tegra Xavier и двух дискретных GPU «следующего поколения». Это позволяет системе выполнять поразительные 320 триллионов операций в секунду.

Daimler и Bosch выбрали NVIDIA Drive Pegasus для роботакси
Daimler и Bosch выбрали NVIDIA Drive Pegasus для роботакси

Такие вычислительные мощности необходимы, поскольку транспортное средство обрабатывает огромные массивы данных. К примеру, один видеосенсор создаёт 100 ГБ данных на километр пути. Робоавтомобиль 5-го уровня содержит несколько видеодатчиков, лидары, радары и ультразвуковые сенсоры, так что объём поступающих на процессор данных невероятно большой, и все их должен обработать искусственный интеллект.

Как часть соглашения NVIDIA обеспечит разработчиков платформой искусственного интеллекта и системным ПО, которое будет обрабатывать алгоритмы управления автомобилем, создаваемые Bosch и Daimler на основе методов машинного обучения.

Сами же Bosch и Daimler готовятся раскрыть планы по разработке роботакси и началу их тестирования в ближайшем будущем.

ИИ NVIDIA удаляет шум на фотографиях

Компания NVIDIA применила искусственный интеллект для создания системы автоматической ретуши зернистых фотографий.

Объединёнными усилиями МИТ, Университет Альто и система ИИ NVIDIA создали механизм Noise2Noise, способный удалять шум из зернистых фотографий, который обычно получаются при съёмке в условиях недостаточной освещённости.

Удаление шума со снимка МРТ
Удаление шума со снимка МРТ

Система использует глубокое обучение на GPU NVIDIA Tesla P100 с применением фреймоврка TensorFlow. Искусственный интеллект тренировался на 50 000 шумных изображений, взятых из базы ImageNet. Благодаря им ИИ научился определять шум и подобрал способы его устранения, правда, конечный снимок содержит немного меньше деталей и слегка мылит. Примечательно, что представленная технология также удаляет с фотоснимков и водяные знаки.

Идея использования ИИ для очистки фотографий не нова. Ранее похожую систему представляла Google, однако всем им для обучения требовались снимки с шумами и без, и сделать их достаточное для обучения количество весьма проблематично. Представленный механизм Noise2Noise лишён этого недостатка. Его обучение проводилось исключительно на шумных снимках.

В любом случае, это всё пока наука, и до реальной очистки снимка прямо в смартфоне пока ещё очень далеко.