Как обойти шум на картинках для нейронной сети?

Question

[dostoevkiy22]

Необходимо натренировать сеть для распознавания объектов на картинках. Однако на них есть искусственно созданные шумы. Существуют ли какие-то методики препроцессинга для того, чтобы увеличить точность распознавания?

Пример картинок

Comments

[mayton2019]

Какая ставится задача? Если придумать синтетический фильтр который давит эти завитушки - то мы получается что решаем другую задачу. Создаем комфортные условия для сети.

А зачем это делать? Нет я конечно понимаю что есть предварительная фильтрация обучающей выборки.

Если инструктор курсов вам ставит конкретно задачу - сделать конвейер из фильтра и обучения - то делайте. Но если-бы я был заказчик - то я сказал-бы что мне не нужны фильтры. Пускай сеть учится в боевых условиях. А завтра я подкину еще более шумных картинок.

[dostoevkiy22]

mayton2019, задача классификации объекта. Насчёт игнорирования шумов тоже думал, но как показала практика до этого, это требует гораздо большего набора данных, однако сил на разметку огромного датасета у меня нет (сейчас размечено около 1500 картинок).

Собственно в этом и заключался вопрос, есть ли какие-то проверенные методики по уменьшению влияния шумов на сетку (grayscale, blur, например)

[mayton2019]

Grayscale - хорошая тема. Я в детстве любил крутить настройки старого аналогового телевизора. Там были регуляторы цветности. И когда цветность убираешь - то особо информации не теряется но шумы (красно-синий снег) просто убираются. Фильм выглядит как нуар но вполне себе смотрибельно. Спустя лет 10 я учился в техникуме по электронике и там узнал как работает советская система вещания SECAM. Она в первую очередь - черно белая. Тоесть львиную часть спектра отдает под сигнал черно-белой картинки. И лишь 2 узенькие полосочки дает под 2 цвето-разностных сигнала. Не помню точно какая формула но вобщем в композиции с черно белым сигналом эти 2 полосочки давали полный RGB,

Сейчас конечно Секам никому не нужен но принципы цвето-восприятия - примерно такие-же остались. И например формат JPEG до сих пор использует подобный эффект. Только цвето-разностные каналы он прореживает не по частоте а по разрешению картинки. Грубо говоря если вы создали JPEG 4K качества то на самом деле Ч.Б картинка качественная а на цветах там будет отфильтрованный по ФНЧ FullHD. Кажется это называется chroma subsampling но я не уверен что это оно.

[dostoevkiy22]

mayton2019, от шумов да, помогает, но на примере картинок видно что на картинку накладывается определённый паттерн, вот от него не думаю что ЧБ поможет. Поэтому и предположил что нужен blue (не сильный) чтобы этот паттерн не сильно влиял на решение нейронки, а она же, в свою очередь, учится решать задачу на заблюренных картинках

[mayton2019]

dostoevkiy22, ты приложил какую-то иконку. Есть с нормальным разрешением?

[dostoevkiy22]

mayton2019, примеры под спойлером. К сожалению нормально разрешения нет, только если заапскейлить другой нейронкой, но думаю тут это будет лишним

[mayton2019]

dostoevkiy22, у тебя что все учебные картинки 100х100 пикс?

[dostoevkiy22]

mayton2019, да, все картинки 100x100. Это не учебные, решаю определённую задачу (в данном случае решение капчи)

[mayton2019]

dostoevkiy22, ну вот представь ты только прикрутил фильтр цвета и ФНЧ и пошла другая капча которая делает XOR шахатной доской. (Очень злой фильтр я с кажу). Человек его кое-как различает. А все машинные системы не могут обобщающее формулы подогнать. И шахматная сетка еще и дрожит и деформируется чтоб вы не смогли ее подогнать никак.

[dostoevkiy22]

mayton2019, Я понимаю что капча может всегда сменить шум, это не совсем проблема, так как в любой момент сетку можно дообучить/переобучить. Тут же я пытаюсь понять какие вообще есть способы борьбы с тим шумом

Если я правильно понял что вы имеете в виду под шахматной доской, то они уже промышляли таким, но не XOR, а просто цвет меняли в нескольких областях, та задача была решена без переучивания модели, как ни странно, точность упала ~15%

[mayton2019]

dostoevkiy22, мне кажется что у вас просто никогда не будет окончательно варианта капче-сети. И самое позорное что надо в этот стек втаскивать человека.

[dostoevkiy22]

mayton2019, да, я тоже согласен что универсального решения не будет. И так уже переучиваем сеть раз в месяц под новые задачи (в том числе размечаю датасет). Но опять же повторю, вопрос был в другом)

Answer 1

[dostoevkiy22]

Провел небольшое исследование.
Вводные: 1600 картинок в наборе данных, из них 400 использовались для валидации, сеть - pretrained DenseNet121, batch_size - 32, epochs - 100, использовалась аугментация

Сырые картинки - .18 loss на 12 эпоче
blur 3x3 - .15 loss на 11 эпоче
blur 5x5 - .17 loss на 58 эпоче
grayscale - .15 loss на 22 эпоче
grayscale+blur3x3 - .16 на 47 эпоче

Так что методика небольшого блюра показалось очень эффективной. Скорей всего grayscale не дал существенного результата, так как модель претрейнилась на цветных картинках