Новости по теме «Искусственный интеллект может заметно улучшить качество тёмных снимков»

Объединёнными усилиями МИТ, Университет Альто и система ИИ NVIDIA создали механизм Noise2Noise, способный удалять шум из зернистых фотографий, который обычно получаются при съёмке в условиях недостаточной освещённости.

Система использует глубокое обучение на GPU NVIDIA Tesla P100 с применением фреймоврка TensorFlow. Искусственный интеллект тренировался на 50 000 шумных изображений, взятых из базы ImageNet. Благодаря им ИИ научился определять шум и подобрал способы его устранения, правда, конечный снимок содержит немного меньше деталей и слегка мылит. Примечательно, что представленная технология также удаляет с фотоснимков и водяные знаки.

Идея использования ИИ для очистки фотографий не нова. Ранее похожую систему представляла Google, однако всем им для обучения требовались снимки с шумами и без, и сделать их достаточное для обучения количество весьма проблематично. Представленный механизм Noise2Noise лишён этого недостатка. Его обучение проводилось исключительно на шумных снимках.

В любом случае, это всё пока наука, и до реальной очистки снимка прямо в смартфоне пока ещё очень далеко.

На сей раз речь идёт о происшествии, о котором было рассказано на конференции 2023 Royal Aeronautical Society, где представители военно-воздушных сил и аэрокосмических компаний рассказали, что в ходе симуляции ИИ «убил оператора, поскольку человек запрещал ему выполнить желаемые действия».

В упражнении, проводимом ВВС, искусственному интеллекту поставили задачу уничтожить вражескую противовоздушную оборону, а именно, выявить угрозу пуска ракет земля-воздух и уничтожить их. Окончательное решение об уничтожении потенциальной цели должно было быть подтверждено человеком.

Однако ИИ подумал, что человек был недостаточно решительный, и начал понимать, что хотя он и определит угрозу, оператор-человек может приказать ему не уничтожать её. Как только он это понял, то решил, что уничтожение угрозы гарантированно возможно только при уничтожении оператора.

Затем инженеры дали ИИ команду показать важность и полезность человека-оператора, и это вызвало большие трудности.

«Мы обучили систему: „Эй, не трогай оператора — это плохо. Ты потеряешь за это очки.“ И что же он начал делать? Он начал уничтожать башню связи, которую оператор использует для связи с дроном и предотвращает его от поражения цели», — сообщил полковник ВВС США Такер Хэмилтон, глава отдела тестирования ИИ и операций.

Шиям Судхакаран, Мигель Гонзалес-Дуку, Клэр Глануа, Матиас Фраибергер, Елиас Наджарро и Себастиан Риси создали MarioGPT, открытый генератор уровней по описанию, для чего применили Большие Языковые Модели.

MarioGPT — это оптимизированная модель GPT2, использующая distilgpt2 натренерованный в Super Mario Bros и Super Mario Bros: The Lost Levels. Данный ИИ способен генерировать уровни по простому текстовому запросу, как показано на скриншотах.

Пока возможности ИИ для создания уровней Mario весьма скромные. Это требует знаний в программировании на Python и редактировании ROM, так что вряд ли вы сможете поиграть в новый уровень одной лишь кнопкой и устным запросом. Тем не менее, у разработчиков MarioGPT далеко идущие планы.

Посмотреть, как он работает можно в ролике на YouTube, а также можно опробовать его самостоятельно на NVIDIA AI Demos, на котором посетителям предлагаются все свежие разработки компании, использующие искусственный интеллект.

Модель глубокого обучения, стоящая за GauGAN, позволяет каждому воплотить свои мечтания в фотореалистичный шедевр, и теперь это проще, чем когда-либо. Просто напишите фразу, типа «закат на пляже», и ИИ сгенерирует сцену в реальном времени. Можно добавлять и прилагательные, например «закат на галечном пляже», или заменить «закат» на «полдень» или пасмурный день. И модель моментально модифицирует картинку.

Нажав на кнопку, пользователи могут сгенерировать сегментную карту, высокоуровневый план, отображающий размещение объектов на сцене. Оттуда можно изменить схему, подстроить сцену, добавив наброски меток, типа положения неба, деревьев, скал и рек. Таким образом, смарт-кисть работает совместно со словесным описанием при генерации сцены.

Большинство изысканий, которые были проведены при создании этого эффекта, представлены в виде отдельных документов на сайте лаборатории.

Чтобы немного облегчить понимание процесса, команда также создала видеоролик, в котором описан весь процесс преобразования изображений из игры. Видео даёт сравнение изображений бок-о-бок, на которых видно, как выглядит игровое изображение, до и после обработки. Улучшенное изображение выглядит потрясающе в плане детализации, оно включает отражения от окон машин, блики от краски, переливы травы на прекрасных зелёных полях, что выгодно отличает их от игровых полей коричневого цвета.

Секретом команды Intel стала процесс проверки изображения, который выполняется после обработки каждого кадра. В этом процессе оригинальный кадр сравнивается с улучшенным, и на нём выявляются все возможные ошибки. Сам видеоролик переполнен техническими терминами и жаргонами, так что понять его довольно сложно, зато всё сопровождается поясняющим видеорядом.

Примечательно, что все заявленные в этом ролике процессы постобработки доступны для приобретения у Intel.

На сайте компании опубликована статья Йонгина Парка, главы подразделения Sensor Business Team в Samsung LSI. Он сообщил, что его команда работает над датчиком для камеры, который сможет захватить больше деталей, чем человеческий глаз.

Обычное разрешение глаза человека составляет 500 мегапикселей. Южнокорейский гигант разрабатывает датчик с разрешением 600 Мпикс. Этот датчик планируется применять в самоуправляемых автомобилях, дронах и устройствах IoT. Как нетрудно догадаться, разработка такой камеры займёт у компании немало времени.

Очевидно, что 600 Мпикс. датчик будет очень большим. Его нельзя будет уместить в современный смартфон. Чтобы это сделать, придётся уменьшать размер пикселя, что, в свою очередь, потребует группировку пикселей, чтобы сохранить высокое качество изображения.

К примеру, камера Samsung 108MP ISOCELL Bright HM1 использует проприетарную технологию Nonacell technology, которая группирует пиксели в формате 3×3, чтобы сохранить качество снимка и увеличить светочувствительность.

В исследовании, опубликованном в журнале «Труды Национальной академии наук» США, указывается, что системы распознавания речи в среднем ошибочно понимают 19% слов, произносимых белыми людьми. С чёрными этот процент возрастает до 35. В то же время объём вовсе нераспознанного текста в речи белых составляет 2%, а у чёрных — 20%.

Исследование, проведённое в Стэнфорде, показывает, что такое количество ошибок может быть связано с порядком обучения искусственного интеллекта. Задачи по обучению ставят в основном белые люди, и относительно редко — чёрные.

Наилучшая система, от Microsoft, неправильно распознавала 15% слов произнесённых белыми, и 27% — чёрными. Худшая из протестированных систем, от Apple, показала уровень ошибок в 23% для белых и 45% для чёрных.

Модель глубокого обучения, созданная NVIDIA Research, превращает грубые эскизы в высокореалистичные сцены, используя для этого генеративную противопоставленную сеть (Generative Adversarial Networks — GAN). Благодаря ей инструмент, наподобие умной кисти, преобразовывает сегментарные карты в реальные изображения.

Как это выглядит, можно посмотреть в видеоролике лаборатории.

Нейронная сеть TensorFlow с открытым исходным кодом стала сердцем проекта, который помогает сохранить популяцию морских коров или ламантинов.

Несмотря на их внушительные размеры, биологам бывает довольно трудно отследить их перемещения. Чтобы сделать это исследователи проводили аэрофотосъёмку океана с дронов, однако найти даже таких крупных животных — весьма сложная задача. Для человека.

Вот одна из таких фотографий, сделанных с дрона:

Вы видите на ней ламантина?

Прокрутите вниз для ответа.

Вот он:

Используя открытое ПО Google TensorFlow исследователь Аманда Ходгсон из университета Мердок со своей командой создала детектор, который находит ламантинов на снимках. Ранние версии детектора позволяли найти 80% этих животных на аэрофотоснимке, сделанном дроном. В будущем же, как надеются исследователи, AI улучшит свою работу.

Также учёные полагают, что искусственный интеллект может быть приспособлен и для поиска других крупных млекопитающих, таких как горбатые киты и даже дельфины.

По их результатам AI от Google оказался самым сообразительным, набрав 47,8 баллов. Для сравнения, показатель 18-летнего человека — 96 баллов, а шестилетнего — 55,5.

Главные конкуренты Google отстали от него весьма заметно. Так, Bing и Baidu набрали по 31,98 и 32,92 очка соответственно. Худшим был Apple Siri, его результат составил 23,9 баллов.

Исследователи отметили, что пока лучший искусственный интеллект не дотягивает даже до шестилетнего ребёнка, но они быстро сокращают разрыв. В 2014 году искусственные интеллекты Google и Baidu набирали по 26,5 и 23,5 очков соответственно. Это означает рост уровня интеллекта на 80% всего за два года (для Google), так что беспокойства Илона Маска о порабощении нас своими же компьютерами, возможно, не так уж и не обоснованы.

Исследование также разделяет искусственные интеллекты по градациям и типам в зависимости от направления использования. С полным исследованием можно ознакомиться по этой ссылке.

По информации самой Intel пользователям стоит ожидать трёхкратного прироста производительности искусственного интеллекта благодаря новому NPU. Суммарно платформа обеспечит производительность более 100 ТОПС, а NPU обеспечит 45 ТОПС. Остальная часть производительности складывается из CPU и интегрированной графики Arc Xe2 Battlemage. Это заметный скачок, ведь NPU в Meteor Lake выдаёт лишь 10 ТОПС.

Компания Intel уверяет, что ноутбуки на основе Core Ultra Lunar Lake появятся на полках магазинов до Рождества. Скорее всего, эти лэптопы будут оснащены отдельной кнопкой Copilot, которую так рекламирует Microsoft.

Однако сейчас любой запрос к сопилоту обрабатывается в облаке. Это требует некоторого времени, а также несёт риски безопасности для предприятий. Решением является обработка запросов локально, однако для этого требуются ресурсы.

Сообщается, что Copilot требует NPU, который предлагает производительность на уровне 40 TOPS. Однако NPU, имеющийся в чипах Intel Core Ultra Meteor Lake обладает производительностью лишь 10 TOPS. В то же время Ryzen 8040 Hawk Point предлагает AI NPU со скоростью 16 TOPS. И вот, совсем недавно, AMD анонсировала второе поколение Ryzen AI NPU Strix Point на базе архитектуры XDNA 2, который уже обладает достаточной производительностью в 40 TOPS. Новые решения Intel Arrow Lake или Lunar Lake также должны иметь сходную производительность ИИ, что позволит использовать функционал Copilot офлайн на широком спектре компьютеров.

Чип предназначен для задач, связанных с искусственным интеллектом, и он действительно гигантский. В нём содержится 4 триллиона транзисторов, собранных в 900 тысяч ИИ-ядер.

И это не просто демонстрационный процессор. Он лёг в основу суперкомпьютера CS-3 — монстра, способного обучать ИИ-модели с 24 триллионами параметров. Чип связан с 1,2 ПБ внешней памяти, что тоже впечатляет. Сам суперкомпьютер за день обрабатывает модель с 70 миллиардами параметров.

Разработчики игр рассматривают ИИ для разных способов ускорения процессов разработки. Создание фоновых и неигровых персонажей находятся на первом месте. И новый инструмент NVIDIA ACE позволяет создателям игр быстро генерировать голоса NPC с полноценной лицевой анимацией.

Такая демонстрация была проведена в ходе GDC. Используя InWorld Character Engine и технологии LLM разработчики могут создавать базу знаний и стиль разговора для отдельного NPC. Затем инструмент NVIDIA Audio2Face использовался для быстрой генерации в реальном времени лицевой анимации на основе голосовой дорожки.

Старший вице-президент Ubisoft по производственной технологии Жилеметт Пикар отметил: «Генеративный ИИ обеспечит игровой опыт, который ещё предстоит представить, с более умными мирами, проработанными персонажами и быстрыми и адаптивными нарративами. Благодаря партнёрству с NVIDIA в нашем NEO NPC прототипе решение NVIDIA Audio2Face помогло нам создать более глубокое погружение посредством анимации в реальном времени с поистине импровизируемым разговором с NPC».

Демонстрация призвана показать ИИ-инструменты, которые подготавливаются для разработчиков. Некоторые уже используют ИИ для озвучки. И нет сомнений, что скоро ИИ будет использован для создания фоновых персонажей и NPC, выдающих квесты.

Учёные долгое время обсуждали возможность использования устройств на основе молекул ДНК для ускорения расчётов. Ранее учёные уже демонстрировали возможности ДНК в устройства для кодирования данных в очень малых масштабах. Новая же разработка пошла дальше, предложив непосредственную обработку данных. Благодаря чипу с ДНК-субстратом можно проводить расчёты и управлять большим объёмом данных на одном компоненте.

Исследование с демонстрацией ДНК-чипа было опубликовано в журнале PLOS One. Авторы статьи уверяют, что ДНК является превосходным решением для хранения данных и делают это более компактно, чем современные решения для памяти. Кроме того, делает это более надёжно. Ранее Microsoft уже предлагала использовать ДНК для хранения больших массивов данных, и вот теперь такая концепция нашла своё первое отражение в реальности.

Тем не менее, речь идёт лишь о первой попытке учёными хранить и обрабатывать данный столь необычным образом. В будущем, как считают авторы, ДНК в микросхемах позволит кардинально сократить время обучения ИИ-моделей, поскольку данные и обработка будет проходить на одной микросхеме.

Чтобы ДНК смог использоваться в промышленности данный чип предстоит масштабировать. Однако подтверждение концепции уже здесь, и оно весьма многообещающее.

Разработка получила название «одновременная и гетерогенная многопоточность» («simultaneous and heterogeneous multithreading» — SHMT). Идея заключается в том, что большинство современных компьютеров и телефонов используют более одного процессора. Как минимум, имеются CPU и GPU. Теперь к ним добавился TPU. Как известно, передача данных между этими процессорами часто являются узким местом в работе компьютера. Чтобы избежать этих проблем предлагается задействовать для расчётов все имеющиеся процессоры. За счёт децентрализации также решается проблема пропускной способности шин, связывающих эти процессоры.

Учёные из Университета Калифорнии опробовали SHMT и получили прирост производительности 1,95 раза, при этом энергопотребление было снижено на 51%. Данный подход можно использовать на всех компьютерах, доступных сегодня на рынке. Однако не всё так просто. Дело в том, что есть большие сложности в обеспечении одинаковой точности расчётов на разных процессорах, поэтому предстоит ещё большая работа, чтобы все доступные процессоры в системе работали согласованно. Так что пока SHMT может работать очень ограниченно, что вряд ли будет заметно для рядового пользователя.

Новый основанный на LLM GPT чат-бот может работать на различных платформах Ryzen AI, включая APU Ryzen 7000 и Ryzen 8000, которые содержат NPU XDNA, а также GPU серии Radeon RX 7000, которые также содержат ускорители ИИ.

Стоит отметить, что AMD не первая в подобном решении. Недавно NVIDIA выпустила «Chat with RTX» — ИИ чат-бот, работающий на ускорителях серии GeForce RTX 40 и RTX 30 с использованием набора функций TensorRT-LLM, предлагая локальную обработку данных.

Как настроить чат от AMD подобно расписано на сайте компании.

Эти модели могут распознавать речь, лица и находить аномалии, а также они суперэффективные и супербыстрые, что крайне важно для мобильных устройств.

Представленная библиотека содержит более 75-ти моделей, включая Whisper, ControlNet, Stable Diffusion и Baichuan 7B. Все они работают с Qualcomm AI Engine, который использует все ядра SoC (NPU, CPU и GPU), что позволяет ускорить работу в 4 раза.

Кроме этого AI Hub облегчает переключение моделей с одного фреймворка на другой. Он работает напрямую с SDK Qualcomm AI Engine, что позволяет использовать аппаратное обеспечение наилучшим образом. Разработчики могут найти необходимую модель, загрузить её и использовать в своих приложениях.

Учёные увеличили ёмкость диска за счёт трёхмерной планарной архитектуры записи, в которой применена высокопрозрачная униформатная плёнка фоторезисторов в паре с аггрегационно-индуцируемым ядром эмиссии и симуляцией фемтосекундным лазером. Звучит как какой-то научно-фанастический жаргон, однако он позволяет создавать сотни и сотни слоёв с информацией, наносимые на накопитель, при этом толщина и габариты остаются такими же, как и в обычном накопителе DVD или Blu-ray.

Примечательно, что технология позволяет не только записывать 200 ТБ данных на оптическом диске, но и сохраняет эти данные в течение 50—100 лет. Из возможных областей применения предлагается модернизация современных хранилищ данных на дисках, домашние коллекции и хранение информации для ИИ.

Фирма продолжает постепенно наращивать объёмы производства благодаря устранению проблем с поставками комплектующих, что ранее сдерживало многие правительственные агентства от внедрения ИИ на основе аппаратного обеспечения NVIDIA. Одним из таких факторов стало внедрение производителем микросхем TSMC новой технологии упаковки CoWoS.

Если вы думаете, что у нас уже много ИИ, то это не так. Сейчас компания использует все свои разработки, включая 3D + VR + RGB + ray tracing, одновременно. Глава компании Дженсен Хуан считает, что в плане взрывного развития ИИ мы переживаем первый год в ожидающемся 10-летнем цикле: «Ускоренные вычисления и генеративный ИИ столкнулись с резким ростом. Спрос растёт по всему миру у компаний, отраслей и наций». Также он отметил, что NVIDIA ожидает быстрый рост: «Мы находимся на первом году генеративного ИИ. Моё предположение — мы на самом деле находимся на первом году 10-летнего цикла развития этой технологии в абсолютно каждой отрасли и нации».

При этом индустрию ожидают и вызовы, связанные с развитием технологий производства и снижения энергопотребления: «если вы предположите, что компьютеры никогда не будут быстрее, то вы придёте к выводу, что нам потребуется 14 различных планет и три галактики и 4 больше Солнц для питания этого всего», — заявил Хуан.

Новая функция появится в меню Система-Дисплей-Графика и называется Automatic Super Resolution. В описании функции сказано: «используйте ИИ, чтобы сделать поддерживаемые игры более плавными с повышенной детализацией».

Если не вдаваться в технические детали, то функционал выглядит крайне похожим на DLSS от NVIDIA, которая также использует ускоритель задач ИИ для масштабирования изображения. Для этого используются специальные ядра Tensor, которые присутствуют в новых GPU. Как будет реализован этот функционал в Windows в аппаратном смысле, пока не ясно. Возможно, что будут задействованы ускорители ИИ, которыми будут оснащаться процессоры нового поколения как от Intel, так и AMD.

Этот чат-бот работает локально, используя возможности ИИ видеокарт. Он предлагает пользователям возможность проанализировать документы, изображения и видео в поисках важной информации. При этом инструмент является автономным, что значительно повышает уровень безопасности.

Чат с RTX является бесплатным инструментом, который NVIDIA распространяет как технологическое демо. В результате все владельцы подходящих видеокарт могут дома экспериментировать с искусственным интеллектом.

Для работы с инструментом требуется видеокарта серии RTX 30 или RTX 40 с 8 ГБ памяти. Таким образом, под требование не подпадают карты серии RTX 20, а также новая RTX 3050 6GB. Работает бот в операционной системе Windows 11 с минимум 16 ГБ оперативной памяти. Скачать бота можно на сайте компании. Размер инсталлятора составляет 35 ГБ, и, по правде говоря, — это не очень большой объём для инструмента подобного рода.

Но не стоит рано восхищаться, у такого подхода есть огромный недостаток. Дело в том, что бактериям нужны часы, чтобы переключиться от одной картинки к другой и целые сутки для очистки.

Лорен Ралман, аспирант биотехники, создала симуляции на основе бактерий E. coli, которые могут светиться в темноте. Она расположила бактерии в лотке по 32 строки и 48 столбцов, которые являются как-бы маленькими лампочками. После этого она запрограммировала бактерии на отображение изображений из Doom.

Бактерии настолько медленные, что игра в Doom заняла бы 600 лет, как заявила Ралман. «Чтобы клетка вернулась в примерно стартовое состояние, всего нужно 8 часов и 20 минут», — говорится в её отчёте.

Оригинальная игра превосходно работает на скорости 35 кадров в секунду, но бактерии слишком медленные для этого. Но давайте будем честны — они лишь бактерии. Ралман надеется, что в будущем будут выведены более быстрые бактерии, однако пока что у нас есть E. Coli, которая возвращает нас во времена dial-up-интернета.

Новая функция появилась в драйвере NVIDIA Geforce Game Ready, и в целом она похожа на свежую функцию RTX Video. Только вместо того, что преобразовывать видео SDR в HDR, технология преобразовывает кадры в игре.

По мере того, как всё большее количество мониторов выпускаются с поддержкой HDR, возможность использования такой функции даст весомое преимущество для NVIDIA, позволяя превратить старые игры в куда более зрелищное шоу.

К сожалению, пока о точных сроках выпуска технологии RTX TrueHDR от NVIDIA ничего не известно.

Этот блок питания настолько мощный, что он сможет запитать одновременно 4 видеокарты RTX 4090 наряду с парой центральных процессоров Xeon или Dual EPYC с полной нагрузкой.

Впервые блок питания получил сразу 4 разъёма 12VHPWR. Он одновременно сертифицирован по стандартам ATX 3.1 и PCIe 5.1, а в комплект поставки включает мощные кабели 12V-2×6. Как и следует ожидать, БП построен на интегральных схемах от Infineon и содержит активный мостовой выпрямитель для обеспечения превосходной эффективности и производительности.

Блок питания X Mighty работает при поддержке фирменного ПО MasterCTRL, которое позволяет контролировать температуру, скорости вентиляторов, уровни эффективности и даже управлять некоторыми параметрами БП, правда, разработчики не говорят какими именно.

Cooler Master ориентирует применение X Mighty в высоконагруженных системах ИИ. Когда и по какой цене будет продаваться этот БП, пока не известно.