Шумы на фотографиях — зернистость и искажения — знакомы каждому, кто снимает в сумерках или при плохом освещении. Производители камер редко указывают реальные шумовые характеристики, а существующие стандарты требуют съёмки десятков специальных сцен и занимают массу времени. Физики из НИЯУ МИФИ предложили решение: они разработали метод, который позволяет оценить уровень шумов камеры по одному снимку. Как сообщается на сайте университета, точность анализа выросла в десятки раз по сравнению с существовавшими однокадровыми методами. Вместо съёмки сотен кадров и многочасовой обработки результат можно получить за считанные минуты. Исследование опубликовано в международном журнале IEEE Access (Q1).
Каждый, кто снимает на смартфон или профессиональную камеру, сталкивался с шумами — зернистостью и искажениями, особенно при съёмке в сумерках или при плохом освещении. Проблема присутствия шумов на изображениях существует столько же, сколько цифровая фотография. Источников много: неравномерность освещения, нагрев матрицы, разница в чувствительности пикселей, технологические дефекты при изготовлении камер. Производители редко указывают реальные шумовые характеристики устройств, а существующие стандарты измерения требуют съёмки десятков специальных сцен и занимают массу времени.
Группа учёных из лаборатории фотоники и оптической обработки информации Института лазерных и плазменных технологий МИФИ предложила элегантное решение. Вместо длительного процесса съёмок на лабораторных установках их метод использует математическую обработку одного-единственного кадра. Он позволяет оценить не только величину полного шума, но и значения каждого вида шума по отдельности. Традиционно шумы делятся на четыре типа: световые (временные и пространственные) и темновые (тоже временные и пространственные). Световые появляются в процессе съёмки и зависят от количества попавшего на матрицу света, темновые присутствуют даже при отсутствии освещения. Пространственные шумы неизменны во времени и связаны с различиями в чувствительности пикселей, а временные меняются от кадра к кадру.
Суть новинки — в сегментации изображения и многоступенчатой аппроксимации. Учёные разделяют снимок на участки с различной яркостью и однородностью, что позволяет приблизительно определить, насколько значителен шум в отдельных пикселях. Затем к полученным данным применяется процедура взвешенного усреднения, которая отсеивает случайные флуктуации сигнала.
Проведённые оптические эксперименты с использованием камер разных типов (включая популярную беззеркальную камеру Canon EOS M100) подтвердили эффективность подхода. Если существовавшие однокадровые методы давали значительную погрешность, то новая разработка позволила повысить точность анализа шумов в десятки раз.
Особенно важно, что метод впервые позволяет корректно оценить параметр PRNU (разницу в чувствительности пикселей) по одному снимку. Ранее это было возможно только по результатам съёмки длительной серии однородных изображений.
Новая технология радикально ускоряет процесс. Вместо съёмки сотен кадров и многочасовой обработки результат можно получить за считанные минуты. Это открывает перспективы: от быстрой настройки камер для научных экспериментов до улучшения алгоритмов шумоподавления в смартфонах и системах видеонаблюдения. Зная точные шумовые характеристики, нейросети смогут эффективнее корректировать изображения, разделяя шумовые компоненты и отдельные детали объектов на снимке.
Работа выполнена при поддержке гранта Российского научного фонда № 24-19-00898, руководитель гранта — доктор физико-математических наук, ведущий научный сотрудник Владислав Родин.
