Возможно ли дообучение модели на 2 из 4 классов?

Question

[Сергей Соколов]

Есть модель EfficientNet, обученная на ImageNet и переобученная различать картинки своих 4 классов. Справляется вполне неплохо. Но можно и нужно чуть получше.

Поступили новые, вручную разобранные изображения для только 2 из 4 классов.
35 одного класса и 425 другого. Может, это вообще слишком мало изображний, не стоит и пытаться на них до-обучать?

Пытаюсь дообучить модель на этих изображениях. Training : Validation = 0.8 : 0.2
Создал папку, с подпапками для каждого из 4 классов, но файлы, соотв. есть только в двух.
Использую Keras ImageDataGenerator и его метод flow_from_directory()

Создатель модели так же тренировал её рабочую версию на 3500 картинок и получил accuracy 0.98755

Но у меня результат — никакой: модель начинает ошибочной всё записывать в один из этих двух классов, даже изображения из ранее нормально узнаваемых двух нетронутых классов.

Во время обучения на training выдаёт минимальные потери и accuracy около 1, но на validation loss высокий и accuracy держится в районе всего 0.21 — 0.25

ЧЯДНТ?

Answer 1

[OLZ1]

Из вашего повествования вытекают по меньшей мере два вывода: либо "что-то не то" с данными, либо выбрана неверная конфигурация модели. При работе с несбалансированными данными выручает перетасовка. Попробуйте при тренировке модели перетасовать данные [history = model.fit(..., shuffle=True)] / flow_from_dataframe(..., shuffle=True). Я бы ориентировался на решения Keras, с которыми "расщёлкали" задачу набора MNIST [ссылка] с высокой точностью.

Comments

[Сергей Соколов]

Спасибо за ответ.
Я в итоге добавил новые разобранные картинки к тем 3500, на которых сеть обучалась изначально, и переобучил на них всех, начиная с «чистой» модели EfficientNet и весов imagenet.

[Сергей Соколов]

P.S. Shuffle и seed в генераторах/итераторах использую.

Для тренировки ImageDataGenerator ещё всячески тормошит картинки: поворачивает, зеркалит искажает, яркостью мигает. Стоит ли использовать этот же генератор и для валидации, или валидировать лучше на неизменённых картинках?

[Сергей Соколов]

В общем, абстрактно от деталей реализации, правильно ли дообучать (не пере-обучать с нуля) модель, классифицирующую на N классов, образцами всего M классов из N? (M < N)

[OLZ1]

В любом случае стоит попробовать разные варианты: подгрузка новых данных с последующей дополнительной тренировкой не должно занять много времени. А там смотреть на визализацию результатов.

Но у меня результат — никакой: модель начинает ошибочной всё записывать в один из этих двух классов, даже изображения из ранее нормально узнаваемых двух нетронутых классов.

В инете пишут, что причиной подобного является "странное поведение" слоя BatchNormalization. Если у вас такие же результаты (ссылка), то попробуйте решение, приведённое в следующей статье: ссылка.