Требуется помощью с регулярезацией L-2?

Question

[Xvir43]

Имеется нейронная сеть обратного распространения с функцией градиентного спуска, вопрос в какой момент делается регуляризация? Я понимаю что регуляризация применяется на этапе вычисления обратной ошибки, но куда??когда мы корректируем веса?

Answer 1

[freeExec]

Грубо говоря

newWeight = weight * (L1 + L2 * weight + grad) / batchSize

Comments

[Xvir43]

В момент корректировки весов или просчёта ошибки нейрона?

[freeExec]

Xvir43, обновление весов

[Xvir43]

freeExec, Подскажи пожалуйста, что такое batchSize,

[freeExec]

Xvir43, Вы же градиент накапливаете, а не после каждого BP делаете обновление весов. Ну вот это как раз то количество - мини подвыборка, на скольки элементах вы обучились, прежде чем обновить веса..

[Xvir43]

freeExec, Вы меня извините за столько вопросов, подскажите как вы используете нормализацию точнее когда и в каком месте(например на входной слой и все скрытые слои или как то еще, перед функцией активации или после нее )? моя сеть состоит из из 2ух скрытых слоев (прямого распространения).

[freeExec]

Xvir43, Я вам предлагаю взять и посмотреть как написана сеть у других, раз объяснения на словах вам не подходят.
https://github.com/tensorflow/playground/blob/mast...