Почему не обучается нейронная сеть?

Question

[DaniilSM]

Я хочу написать свою нейронную сеть с 0 которая распознавала бы числа от 0-9, для этого я скачал базы картинок MNIST и начал писать код. Саму нейронную сеть я реализовал довольно быстро, а вот с обучением проблемы. По книге "Создаём нейронную сеть" Тарик Рашид, использовал формулу получения ошибки и получения нового значения весов

На очень простой сети (1 вход 1 скрытый слой и 1 выход), я подавал на вход 1, а на выходе требовал 0 или 1, и оно приводило веса так, чтобы выдавалось верное значение. Но когда я взял 786 входных (картинки с цифрами 28х28) 2 скрытых слоя по 16 нейронов и 10 выходных, то почему, то она не обучается и спустя 60тыщ. картинок из базы выдаёт на любую картинку всюду на выходе почти 1. Давал я ей эти картинки в случайном порядке по 100 штук.

Вот исходный код: GitHub
Почему она не обучается и что я делаю не так?

Comments

[Александр Синицын]

А не может это быть из-за того, что веса не случайные, а все 0.5f ? Может нейросеть просто не может решить какой синапс ей усилить, а какой ослабить...

[DaniilSM]

До этого были рандомные значения и было то же самое. Сейчас изменил 0.5 на weights[i] = (float)rand.NextDouble() * 2 - 1; и получаю значения от -1 до 1, но после очередных 60к картинок выдаёт так же всюду почти (0.9... всюду с малым отличием) по 1.

Answer 1

[Валентин Бируля]

В этой книге, во второй части будет создание на python самой нейронки как раз на распознавание цифр по MIST. В чем проблема переписать код автора?