Почему нейронная сеть правильно распознает только данные из MNIST?

Question

[Никита]

Реализую нейронную сеть распознавания цифр на чистом C++ (исключительно в образовательных целях). В качестве данных решил использовать MNIST. Для обучения взял 60 000 изображений, для тестирования - 10 000. Написал нейронную сеть, написал обратное распространение, минута обучения и данные для тестирования распознаются с вероятностью в 92.69% (9 269 / 10 000). После этого решил протестировать нейронную сеть на своих собственных изображениях. Открыл GIMP, написал цифры от 0 до 9 белым цветом на черном фоне, экспортировал в PBM формат, а после загрузил в программу. Правильность загрузки изображения проверял, изображение в массив цветов загрузилось корректно. Запускаю нейронную сеть и вижу, что правильные результаты появляются с вероятностью в 10-20%, то есть не многим лучше случайного выбора. Что делать? Какого может быть причина?

Топология нейронной сети:

• Входной слой - 784 нейрона (28 * 28)
  
• Скрытый слой 1 - 16 нейронов
• Скрытый слой 2 - 16 нейронов
• Выходной слой - 10 нейронов (каждый нейрон для каждой цифры)

Понимаю, что вряд-ли кому-то будет не лень смотреть код и что я там наворотил, но на всякий случай вот ссылочка.

Answer 1

[Никита]

Я решил сопоставить свои изображения и изображения из MNIST'а. Выяснилось, что цифры на моих изображениях разного размера, написаны в разных частях картинки, а цифры из MNIST'а - примерно равного размера и написаны точно по центру. Именно поэтому нейронной сети легко определять цифры из MNIST'а и так сложно определять мои. Решение проблемы лежит в переходе с многослойных перцептронов на сверточные нейронные сети.

Answer 2

[rPman]

скорее всего сеть переобучилась
известная беда для нейронных сетей

Comments

[Никита]

Спасибо! В любом случае попробую с этим что-то сделать, но разве это возможно? Нейронная сеть выдает хорошие результаты на последних 10 000 изображений из MNIST, когда их она ни разу не видела (в процессе обучения, как я и писал, используются только первые 60 000 изображений). Или я в чем-то не прав (являюсь новичком в этой теме, так что вполне вероятно, что не прав)?

[rPman]

это и есть переобученность
нейронная сеть смогла найти признаки, характерные для твоего датасета но не твоей задачи, или тупо заучила его весь но так и не смогла выявить признаки!

это как выучить наизусть все задачи из учебника и выдавать правильные ответы на задачи от туда но так и не понять принцип их решения и валиться на простом изменении коэффициентов в задачах

[Никита]

rPman, спасибо! Сейчас попробую покрутить гиперпараметры.

[rPman]

Никита, по ссылки в вики сходи, загугли, там куча алгоритмов

[Василий Банников]

Никита, у меня аналогичная проблема была - изображения из mnist распознаёт хорошо, а новые - шиш.
Думаю, это связано с тем, что сетка привязалась к тому почерку, который был у людей, которые писали примеры для mnist. Выборка не достаточно разнообразная.

В теории, ты можешь улучшить результат, если расширишь датасет хотябы на основе того что у тебя уже есть - немного поискажай картинки, покрути.

[Никита]

Василий Банников, хорошо, попробую.