Нужно ли удалять dropout после того как нейронная сеть обучилась?

Question

[Евгений Воронов]

dropout ставят для того, чтобы рандомно отключать определенное число нейронов, тем самым избежать переобучения. Нужно ли убирать dropout после того, как нейронная сеть обучилась?

Answer 1

[sswwssww]

Не совсем ясен вопрос. Что вы имеете ввиду под "убирать dropout"?
К уже обученной нейросети dropout не нужно применять, если вы об этом.

Comments

[Евгений Воронов]

Да после того как прошла тренировка сети. Сеть готова к распознаванию. Dropout нужно убрать перед тем как загружать новые данные?

[sswwssww]

Евгений Воронов, ОБЫЧНО на этом шаге dropout уже никак не влияет на нейросеть. Так что можно убрать.
А вообще без кода сложно судить как у вас там все работает.

[Сергей Ильин]

Евгений Воронов, если сеть уже обучена, то ее как модель сохраняют в файлик и уже все, в продакшен. так как дропаут - это история процесса обучения и подбора гиперпараметров, то как его можно применить к нейросети? да, другое дело, если у вас online-learning, т.е. автообучение на новых входящих данных. там немного другая история. но, наверное, раз вы спрашиваете, у вас не это )

Answer 2

[Арсений Кравченко]

Обычно переводят сеть в inference-режим, для дропаута это значит умножение значений всех выходов на (1-p) вместо зануления p выходов.