Как автоматически выделить объект на изображении?

Question

[Александр Алексеев]

Есть видео, преобразованное в последовательность кадров. На одних кадрах имеется только фоновая картинка, на других с объектами. И то и другое выбирает пользователь. Какие существуют алгоритмы для качественного автоматического выделения объектов с учётом того, что съёмка происходит не в фото студии, а в реальных городских условиях? Я имею в виду, что шевелёнка листвы и небольшое изменение освещённости вследствие переменной облачности - естественные атрибуты такой съёмки. То есть, хотелось бы чтобы выделение объектов осуществлялось программно.
Вот что у меня получилось с использованием разницы между кадрами:

Но результатом не доволен по причине многочисленных артефактов.

Answer 1

[Даниил Бакалин]

Самое простое в данном случае - использовать ту же разность, но не для изображения в целом, а для отдельных каналов. В том числе насыщенности и оттенка.

Найдя маску для каждой пары каналов - их можно объединить и получить более точную маску.

А случае с машиной, в центре машины у вас большое черное пятно, потому что разница в зеленом канале - нивелировалось обратной разницей в красном и синем. В сумме - получилось что-то около 0.
Если суммировать модули разности для каждого канала - этой проблемы бы не было.

Если хочется пойти дальше - нужно разбить изображения по уровням детализации (посмотрите вейвлет обработку фото). Находя маски по каждому уровню отдельно, и комбинируя их - вероятно существенно улучшите результат.

Answer 2

[SeptiM]

В общем случае могу посоветовать такой метод: opencv-python-tutroals.readthedocs.org/en/latest/p...

Хотя на самом деле на разнице уже много чего интересного можно сделать. Можно понизить порог, и удалить все маленькие компоненты связности. Это можно сделать через морфологические преобразования или просто BFS запустить в каждой компоненте.

Answer 3

[polar_winter]

Попробуйте Matlab (Image processing toolbox).

Answer 4

[d'Ivan]

Если в вашей маске убрать пятна малого размера, а пятна внутри объекта-машины залить цветом маски для получения однородного цвета, то должно получиться что-то типа этого:

Comments

[Александр Алексеев]

Проблема в том, что иногда объекты имеют нечёткую границу или, например, вместо легковушки может быть кран (с прозрачными областями внутри). Тогда трудно выбрать пятна какого размера можно удалить, а какие оставить. Каков должен быть критерий отбора?

[d'Ivan]

Александр Алексеев: наверно нужно отсеивать объекты малого размера. А насколько малого - вам решать. Области с пятнами нужно заливать, определять габариты, а затем решать что отсеиваить.