Можно ли дообучить модель нейронной сети?

Question

[br0_oJ]

Всем привет! Возник вопрос. Мне нужно обучить нейронную сеть на распознавание на большое количество классов. Могу ли я например сначала обучить на условно 10 классах, а потом добавить еще 20 классов, но чтобы обучение было уже только на данных для 20 классов, без учета данных предыдущих 10. И чтобы в итоге обучение было распознавание условных 30 классов?

Comments

[kamenyuga]

Откуда такое разделение, сначала 10, потом еще 20? Данных для обучения нет? Они не размечены? В любом случае проще будет еще раз обучить всю нейронку заново. Именно так оно и делается.

[br0_oJ]

kamenyuga, это условно, в реальности у меня более 20000 классов и обучать их за раз очень долго, поэтому хотел разбить на несколько этапов, чтобы после обучения первого уже какая-то модель была а дальше просто добавлять

[kamenyuga]

br0_oJ, безосновательное заявление. Сколько бы ни было классов, все равно нужно все данные для обучения прогнать через архитектуру нейросети несколько раз (эпох). А количество классов задает размер буквально пары полносвязных слоев на выходе, т.е. ничто по сравнению с многослойными свертками того же резнета. Может, вопрос скорее в соответствии между задачей и возможностями? На безвидеокартье и процессор видеокарта.

[kamenyuga]

br0_oJ, если много-много классов можно разделить на независимые группы, то, конечно, можно обучать одну нейронку на каждой группе классов, а потом несколько нейронок просто заворачивать в единую обертку, это стандартный функционал того же тензорфлоу. Только придется написать логику соединения ответов нескольких нейронок (в простейшем случае - конкатенация).

[br0_oJ]

kamenyuga, Вот вероятно это и есть подход, который мне нужен. Чтобы учить на разные блоках классов и потом просто в будущем соединить для единой работы распознавания.

Answer 1

[freeExec]

Можно дообучать, только не как ты предложил, добавить 20, а не полном наборе - все 30. Ну либо ты сильно потеряешь в качестве определения первых 10.
Симбиоз из нескольких сеток делают, но обычно они определяют одно и тоже, просто отличаются своей внутренней архитектурой, и сетки компенсируют слабые стороны друг друг-друга.