Почему нейронная сеть обучается на каждом тренировочном сете, но когда пытаюсь обучить на всех сетах одновременно, ошибка не уменьшается?

Question

[roman22275]

Решаю задачу исключающего или. Не использую сторонние библиотеки.

Comments

[Сергей Соколов]

Какова архитектуру сети? Покажите код, что ли

[longclaps]

Не любит она тебя (она - это нейронная сеть). Её можно понять - ты вот её тоже показать стесняешься.

[roman22275]

Сергей Соколов, вот отрывок

[roman22275]

longclaps, вот отрывок

[Сергей Соколов]

roman22275, отрывок не дает представления

Answer 1

[Ilya Neizvestnyj]

Вообще, если построить график, то можно заметить, что в какой то момент сеть перестает обучаться и наступает эффект переобучения.
Побороть переобучение полностью невозможно, но можно сделать так, чтобы оно наступало позже.
1) Использовать регуляризацию (L1, L2)
2) Dropout (прореживание)
3) Если работаете с изображениями, то их в генераторе можно переворачивать, создавать белый пиксель и т.п