Почему уровень ошибки при обучении сети постоянно скачет?

Question

[Антон Савченко]

Почему уровень ошибки при обучении ведет себя так?
Есть нейронная сеть, с тремя слоями, принимающая на вход картинки из базы mnist. Соответственно в входном слое 784 нейрона, по одному на каждый пиксель. В скрытом слое 30 нейронов, на выходном десять, по одному на каждый класс. На скрытом слое в качестве функции активации используется tanh, на выходном - softmax. В качестве функции потерь используется кросс-энтропия. Тренировочный сет имеет 60000 картинок. Обучаю сеть методом стохастического градиентного спуска, выборки из 5, 10, 100(это не важно, результат в целом не меняется) рандомных элементов обучающего множества.

Comments

[xdgadd]

Сравните свою архитектуру с LeNet, у меня на mnist точность была ~98%.

Answer 1

[Сергей Соколов]

Слишком большой шаг в градиентном спуске. Попробуйте уменьшить его наполовину.

Comments

[Антон Савченко]

Попробовал играться с шагом, не помогает