Нужны ли негативные примеры при классификации изображений?

Question

[Сергей Соколов]

Есть сеть EfficientNet, обученная на большом ImageNet.
Задача переобучить сеть классифицировать изображения на 3 свои класса.

Есть пример с переобучением на классификацию «кошки / собаки».

Но будут попадаться и изображения, не содержащие ни одного из 3 заданных идентифицируемых объектов – случайные снимки.

Вопрос: при переобучении сети надо ли её обучать на 4 классах, добавив изображения, не содержащие искомые объекты?

Изначально мне передали сеть именно так обученную на 4 классах, включая 4-й класс «НЕТ». На выходе получаются 4 вероятности. Из них берётся максимальная. Собраны папки фотографий для каждого из 3 классов и 4-я папка со случайными снимками, не содержащими ни одного из 3 объектов.

Сомневаюсь, что надо обучать на классе «НЕТ».
Как поступать, если брать только 3 класса – задать некий порог, и если ни под одному классу нет уверенности выше, скажем, 90%, то считать, что картинка не содержит искомое?

Answer 1

[Данил]

Ответ зависит от того, как с какими изображениями сеть будет работать в продакшене.

Вариант, когда обучаете на 3х классах и добавите логику, которая проверяет вероятности (если вероятность для всех 3х классов ниже threshold, то 4й класс) вполне рабочий.

Comments

[Сергей Соколов]

Работать будет с фотографиями, присланными пользователями со своих мобилок.
Это маркетинговая акция: будут присылать фото купленного продукта в одном из 3 вариантов.
В т.ч. могут присылать всё что угодно - и продукцию конкурентов и случайные кадры.

Как понять, какой вариант лучше. Стоит ли дообучать сеть на вручную выявленных негативных примерах?

[Сергей Соколов]

как я понял, изначальное использование весов обученных на ImageNet уже включает «знания» обо всех возможных изображениях. Поэтому новые изображения «мира» в количестве менее 1000 совсем незаметно могут изменить ситуацию.

[Данил]

Если есть датасет с "негативными" примерами, я бы порекомендовал обучить 2 сетки на 3 класса + обработка вероятностей и 4 класса. Проверите метрики для обоих и решите, какая версия для вас более подходящая.