Нейронная сеть при разных начальных весах дает разный ответ?

Question

[Даниил]

О чем может говорить в многослойном парцептроне по методу backpropagation, когда результат выполнения рабочего примера довольно сильно колеблется. А меняются только случайные веса. Но ведь по идее они должны стремиться к некоторым значениям спустя сотню эпох.
Нашел Теорему сходимости перцептрона. Реализацию уже 2 суток разбираю, какие могут быть причины.

Answer 1

[freeExec]

Да, вы оказываетесь в разных локальных минимумах. Можно поиграться с параметрами L1, L2 или выбрать другой оптимизатор для градиентного спуска.

Comments

[Даниил]

то есть это нормально? Я вообще заметил что у меня ошибка на нейронах скрытых слоев не особо изменяется. Очень медленно уменьшается, и при этом прыгает как синусоида от -1 к 1 тогда как на выходных уже удовлетворяет 0.01. Это же ошибка значит у меня в реализации?