Правильная последовательность регуляризация L2?

Question

[Алексей Пушкин]

Нейронная сеть начала переучиваться, требуется регуляризация, не могу понять на каком этапе данная функция используется.
На этапе нахождения градиента? Новичок в данной теме.

Answer 1

[Данил]

Регуляризация применяется на этапе обратного распространения ошибки.

Простыми словами - вы хотите избежать очень больших весов для каких-то нейронов (aka переобучение). Чем больше вес у определенного нейрона, тем больше регуляризация для этого нейрона.

Картинка с просторов интернета для наглядности. Надеюсь поможет понять

Comments

[Алексей Пушкин]

Данил, спасибо за ответ. Но не могли бы Вы, пояснить поподробнее? Итерация прошла, выходной нейрон имеет какое то значение. Дальше (МОР), вначале корректируются веса или регуляризация? Или же эта процедура вычисляется вместе с градиентным спуском? Запутался вообщем.