Как обучить нейросеть со слоем Relu+Softmax?

Question

[roman22275]

Нейросеть для решения MNIST состоит 3 слоев:
1)входной [784]
2)скрытый [500]. функция активации RELU
3) Выходной[10].функция активации softmax

На скрине под цифрой 1 - input выходного слоя
На скрине под цифрой 2 - output выходного слоя(после применения softmax)
На скрине под цифрой 3 - максимальное значение производной по весам, соединящим 2 и слой
На скрине под цифрой 4 - среднее значение этой же производной
Очевидно, что с такими малыми значениями сеть не обучится. Что делать?

Comments

[freeExec]

На скрине под цифрой 1 - input выходного слоя

Необходимо нормализовать 0...1

[roman22275]

freeExec, поделить на самое большее значчение?

[freeExec]

roman22275, Да, для картинок на 255

Answer 1

[OLZ1]

Да-а, сперва завис над "Очевидно, что с такими малыми значениями сеть не обучиться".)) Почему вы так считаете?
Как правило, на вход нейронных сетей данные подаются в отмасштабированном (нормализованном виде). Поэтому сперва переведите матрицы X_train и X_test из целочисленных значений на отрезке [0,255] (image набора данных MNIST) к вещественным на [0,1].
Вероятно, у вас не совсем подходящая архитектура сети. Опирайтесь на образец: ссылка, благодаря которому набор данных MNIST "расщёлкали" с эффективностью 99.25%.