Восстановление поврежденного изображения нейронной сетью?

Question

[efremovaleksey]

Буду создавать нейронную сеть для восстановления изображения, приведенного выше, а также ему подобных.

Каждое изображение имеет повреждения цветовых плоскостей R/G/B регулярного характера (см. выноску в правой части картинки). Т.е., как пример — в каждом четвертом (втором) пикселе оставлена только R-координата. Также в поврежденном таким образом изображении опционально будет присутствовать шум (обучение будет проходить на реальных фотографиях). Количество повреждений — примерно 2/3, т.е. у каждого пиксела неповрежденной остаётся только одно из R/G/B значений. На выходе сеть должна выдавать восстановленное значение центрального пиксела из блока NxN, N — естественно нечетное, максимальный размер блока 15x15.

Входные данные будут проходить чистку — путём вычитания интерполированного по исходным данным изображения (в качестве предварительного результата).


Пока остановился на многослойной ИНС и на сети Элмана.


Если кто-то сталкивался с решением задач подобного рода, дайте совет, какой тип нейросети лучше использовать и как обучать? Стоит ли задействовать генетические алгоритмы?

Answer 1

[powder96]

Возможно, Вам пригодится эта статья: habrahabr.ru/post/120473/

Comments

[efremovaleksey]

Обучаться сеть будет на любом количестве фрагментов, а вот работать должна на любом изображении. Плюс из отличий, которые вижу я — в приведенном примере потери на пиксел 100%-е и случайные, а в моей задаче они затрагивают в 99% случаев 2 из трех цветовых плоскостей, оставляя третью практически нетронутой. Вышеприведенный алгоритм способен будет учитывать регулярность повреждений?

[powder96]

Там нейросеть сначала обучают хорошей картинкой, а потом скармливают ей туже картинку, но поврежденную. Практической пользы никакой, можно только почерпнуть оттуда что-нибудь полезное.

Answer 2

[sermal]

Посмотрите еще в сторону Нейронной сети Хопфилда

Comments

[efremovaleksey]

Если я правильно понимаю, ИНС Хопфилда не отличается универсальностью.
мне нужна сеть, если можно так сказать, «реализующая алгоритм», а не «запоминающая».

Answer 3

[da0c]

Задачка интересная. Вот какие мысли приходят в голову по поводу решения.
1. Нейронки. Может быть, но не очень понятно, как организовать обучения. Вообще попробовать работает/не работает можно в NeuroNet toolbox-е в Matlab, там и документация стоящая.
2. Возможно лучшим решением будут фрактальные методы на основе систем итерированных функций (Iteration Function System). Этот метод используется при сжатии и может давать достаточно хорошую экстраполяцию.

Comments

[da0c]

По поводу генетического алгоритма — это хороший метод оптимизации сложного функционала с большим количеством параметров, этот метод может использоваться в рассматриваемой задаче как вспомогательный, например, при обучении сети. Но в качестве основного метода решения — маловероятно…

[efremovaleksey]

1) IFS придется применять к каждой цветовой плоскости отдельно, насколько я понимаю? Если бы обойти это ограничение…

2) В своих поисках наткнулся на то, что задача очень похожа на дебайеризацию (демозаик) в современных цифровых камерах. Тем не менее, решить нужно именно с помощью ИНС.

3) В процессе изучения способов построения полноцветного изображения по решетке фильтра Байера выяснил интересное допущение, применяемое во многих алгоритмах — между соседними пикселями значение Hue (цветовой тон, он же отношения R, G и B друг к другу) изменяется слабо. ИНС при использовании этого допущения в качестве опорного будет лучшим интерполятором, мне так кажется, нужно проверить.
На рисунке ниже в верхней половине — карта цветового тона, внизу оригинал:



Но из вышеупомянутого мной решения вытекает и проблема — необходимо изменить входное представление данных с учетом постоянства hue, пока думаю, как это сделать.

Answer 4

[Александр Хмелев]

Просто мысль.

Если ИНС это принципиально важно, то вам возможно подойдет обычная ИНС, но малюсенькая и с узким горлом (малое число нейронов в скрытом слое).

Жутко медленный алгоритм:
1) обучаем сетку бегающим окном 3x3 (или около того) по полю 15x15 (как ассоциативную память, т.е. окно вход и выход).
2) после обучения сеть будет аппроксимировать поверхность т.е. сгладит шум, для этого важен малый размер сети и ранний останов обучения.
3) выход сети для всех положений окна запоминаем, усредняем результаты попиксельно.
4) далее смещаем квадрат 15x15 и весь процесс повторяется. Смещение должно быть с перекрытием (т.е. меньше чем на 15 пикселей) иначе стыки вылезут.

Если поле одного цикла обучения делать больше чем 15х15, то аппроксимация будет смазывать изображение из-за чрезмерного усреднения. Алгоритм работать по идее в таком виде будет, но сверхмедленно.

P.S. А вообще тут имхо уместна обычная нелинейная регрессия или что-то типа сплайнов, но для двух входных переменных.

Comments

[efremovaleksey]

Входов максимум 15х15 (или 13х13, или 11х11 и т.д.), выход — значение одного центрального пиксела.

[Александр Хмелев]

Я имел ввиду нейросеть с размерностью входов 3x3 и выходов столько же. Сетка учится аппроксимировать некую поверхность, а вот поверхность — поле 15x15 — из этого поля берутся данные для обучения, т.е. примеров будет (15-2)*(15-2)=169. Если нейронов скрытого слоя будет немного (буквально от 2 до 5), то сеть будет пытаться обобщать данные — сие и есть искомое поведение. Но всю фотографию за раз так не обработать, ибо потребуется большее количество нейронов скрытого слоя и умение обобщать исчезнет. Сеть будет просто запоминать данные и все. Поэтому и нужно для каждого набора 15х15 выполнять полный цикл обучения.

Так как предлагаете сделать вы тоже наверное возможно, но учить придется на большом количестве разных сырых и уже заранее обработанных фотографий. А коль уже имеется инструмент для обработки фото, то непонятно зачем нужна нейросеть.

[efremovaleksey]

Запоминать сеть начнет при недостатке примеров для обучения, как мне видится. А зачем мне это? Классическим алгоритмам в этой теме не хватает «понимания микроструктуры» изображения, проводится простое обобщение, максимум — с вычислением локальных градиентов. Хочется добиться большего)