0% успешной классификации на обучающей выборке при обучении DBN — это нормально?

Question

[ivodopyanov]

Пытаюсь обучить deep belief network (4 слоя, 500 нейронов -> 500 нейронов -> 500 нейронов -> 250 нейронов)
Первый этап - обучение RBM - вроде проходит успешно. После 20 итераций ошибки не превышают 0.005
Запускаю "допиливание" при помощи backprop - получаю 0% успешных классификаций и большую ошибку. Они, конечно, меняются в лучшую сторону в ходе обучения, но все же - это нормально? Из лекций, по которым разбирался в алгоритме, у меня составилось впечатление, что задача первого этапа именно в том, чтобы подобрать веса так, чтобы минимум был недалеко.

Comments

[Дима Петрук]

Не могли бы скинуть линк на лекции? Так же хотел бы разобраться в теме DL.

[ivodopyanov]

Дима Петрук: На Coursera от Хинтона в 12-ом году было: https://www.coursera.org/course/neuralnets Не знаю, будет ли курс сейчас доступен. Мне доступен, потому что я тогда на него подписался.

[ivodopyanov]

Дима Петрук: И еще для дальнейшего есть руководство Хинтона по обучению RBM: https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf

Answer 1

[ivodopyanov]

Сам нашел у себя ошибку. Я использовал библиотеку darch и делал так, как было в у них примере. А там в качестве функции активации для backpropagation использовалась сигмоидная функция. А в моем же случае надо было softmax.