Новости про исследования и наука и фотокамеры

На сайте компании опубликована статья Йонгина Парка, главы подразделения Sensor Business Team в Samsung LSI. Он сообщил, что его команда работает над датчиком для камеры, который сможет захватить больше деталей, чем человеческий глаз.

Обычное разрешение глаза человека составляет 500 мегапикселей. Южнокорейский гигант разрабатывает датчик с разрешением 600 Мпикс. Этот датчик планируется применять в самоуправляемых автомобилях, дронах и устройствах IoT. Как нетрудно догадаться, разработка такой камеры займёт у компании немало времени.

Очевидно, что 600 Мпикс. датчик будет очень большим. Его нельзя будет уместить в современный смартфон. Чтобы это сделать, придётся уменьшать размер пикселя, что, в свою очередь, потребует группировку пикселей, чтобы сохранить высокое качество изображения.

К примеру, камера Samsung 108MP ISOCELL Bright HM1 использует проприетарную технологию Nonacell technology, которая группирует пиксели в формате 3×3, чтобы сохранить качество снимка и увеличить светочувствительность.

Объединёнными усилиями МИТ, Университет Альто и система ИИ NVIDIA создали механизм Noise2Noise, способный удалять шум из зернистых фотографий, который обычно получаются при съёмке в условиях недостаточной освещённости.

Система использует глубокое обучение на GPU NVIDIA Tesla P100 с применением фреймоврка TensorFlow. Искусственный интеллект тренировался на 50 000 шумных изображений, взятых из базы ImageNet. Благодаря им ИИ научился определять шум и подобрал способы его устранения, правда, конечный снимок содержит немного меньше деталей и слегка мылит. Примечательно, что представленная технология также удаляет с фотоснимков и водяные знаки.

Идея использования ИИ для очистки фотографий не нова. Ранее похожую систему представляла Google, однако всем им для обучения требовались снимки с шумами и без, и сделать их достаточное для обучения количество весьма проблематично. Представленный механизм Noise2Noise лишён этого недостатка. Его обучение проводилось исключительно на шумных снимках.

В любом случае, это всё пока наука, и до реальной очистки снимка прямо в смартфоне пока ещё очень далеко.

Однако при плохом освещении дела обстоят намного хуже. Маленькие сенсоры смартфонов просто не могут получить достаточно света для качественного снимка, и, кажется, что телефоны недостижимо отстали от зеркальных камер. Конечно, сейчас при плохом освещении телефоны снимают несравнимо лучше, чем 3-4 года назад, но этого явно недостаточно. И чтобы решить проблему, инженеры придумали использовать искусственный интеллект.

Исследователи из Intel и Иллинойский университет в Урбана-Шемпейн показали, что машинное обучение может привести к значительному улучшению качества снимка в условиях низкой освещённости.

Чтобы решить проблему учёные создали движок, который обучил ИИ, сравнивая снимки, сделанные на короткой и длинной выдержке при низкой освещённости.

Как видно, результаты впечатляют. Со снимками в полном разрешении можно ознакомиться здесь.