Метод обратного распространения — как модифицировать для более сложной нейронной сети?

Question

[Instintctwave]

1. Как делать обратное распространение?
   
2. Выходной нейрон пропускаем через активацию (сигмойд)
   
3. Вычисляем ошибку (target - out sum)
   
4. Вновь пропускаем сумму выхода но уже через дериватив
   
5. Умножаем результат пропущенный сквозь дериватив на ощибку (получаем выходную дельту суммы)
   
6. Выходную дельту суммы умножаем на суммы скрытого слоя (до этого пропущенные сквозь сигмоид), это дельта веса
   
7. Дельта веса суммируем с прошлыми рандомными весами скрытые-выход
   
8. Снова прошлые рандомные веса скрытые-выход умножаем на выходную дельту суммы
   
9. Скрытые прошлые девственные веса скрытого слоя пропускаем сквозь дериватив и умножаем на результат (массив) из прошлого пункта
   
10. Этот массив плюсуем с начальным рандом весами вход-скрытый, если необходимо дублируя удлиняя первый массив так: [1,2,3] => [1,2,3,1,2,3]
    

Это для одного скрытого слоя и одного выходного нейрона

У меня вопросы

1. Как модифицировать на несколько скрытых
   
2. И нескольких выходных нейронов
   

Answer 1

[Арсений Кравченко]

cs231n.github.io/optimization-2