Есть ли программа, которая по двум фотографиям (одна просто с фоном, другая с объектом) позволяет отделять объект от фона?

Question

[Александр Алексеев]

Я имею в виду автоматически. И фон и объект - это съёмки одного и того же места со штатива, но на одном из изображений есть ещё и объект (девушка, машина или коробка).

Comments

[Александр Алексеев]

Спасибо всем за ответы!

Решил допилить свою программу "Удаление фона".

Answer 1

[Qugurun]

Есть сервис для автоматического удаления фона https://www.remove.bg/ru

Comments

[Qugurun]

И ещё подобный сервис https://www.stickermule.com/trace

[Александр Алексеев]

Спасибо за ответ!
Remove.bg - классный сервис! Я давно слышал о нём и даже пользовался.
Однако у него есть ряд недостатков:

1. Как заявляют сами создатели сервис хорошо находит людей. С животными и предметами ситуация хуже. И тому есть свидетельства. Читал обзоры по этому сервису с картинками.
   
2. Некоторые недостатки (артефакты обработки) всё же имеются. Если скажем, сервис откусил часть объекта, то как вернуть эту часть на место? Хотелось бы иметь инструмент типа графического редактора, который бы выполнял, что умеет Remove.bg но при этом имел бы возможность кое-что подправить ручками
   

[Qugurun]

Александр Алексеев, в Adobe Photoshop 2020 можно проделывать подобное и отрубленное можно вернуть "исторической кистью" youtube

[Qugurun]

John Smith, Если удалять при помощи Adobe Photoshop способом о котором я упомянул выше, не нужно дополнительных слоёв, поле автоматической очистки, возвратить утерянные участки изображения можно при помощи History Brush Tool поставив её влияние в окне истории на шаг перед удалением фона . Что примечательно используя Adobe Photoshop можно нагородить различных решений одной и той же задачи, но без ручного вмешательства предполагаю на данный момент ни как не обойтись.

Или как вариант использовать предложенную нейронную сеть, результат работы совмещать с оригинальным фото и при помощи маски показывать потерянные элементы- что собственно вы и описали.

Пару слов по поводу фотографий из примера: фотографии если не брать в расчёт девушку, всё равно разные, нет попиксельного сходства, если их наложить одну на другую то обнаружится ещё и смещение. Проще на зелёном фоне тогда фотографировать исключая в дальнейшем зелёные пиксели по краям объекта, с таким изображением возможно и нейронная сеть справится куда лучше.

[Qugurun]

Александр Алексеев Ещё 1 сервис для удаления фона https://slazzer.com/

[Александр Алексеев]

Qugurun, Спасибо за ответ!
То что в PhotoShop'е есть "восстанавливающая кисть" - это я знаю. Сам им пользуюсь, правда более ранней версией. Кроме того подобные инструменты есть есть и в других графических редакторах, например, в моём любимом Gimp2. Однако есть проблема. Сам сервис Remove.bg в результирующий PNG в качестве цвета фона ставит чёрный цвет вместо исходника. Прозрачность прозрачностью, а цвет фона - чёрный. Попробуйте сами.

[Александр Алексеев]

John Smith, спасибо за ответ!

Я так и думал. Точнее, всё таки надеялся, что есть какая то программа, которая берёт на себя всю эту работу.

[Александр Алексеев]

Qugurun, по поводу "Исторической кисти", уже ответил Вам выше. Remove.BG не сохраняет исходный фон.

Что касается исходников и зелёного фона.
Вы абсолютно правы, но есть нюансы. У меня лично дома три фона - белый, синий и зелёный. Но! Не всегда и не везде его можно брать с собой и не всегда его можно использовать. Например, автомобиль - он очень большой. Или если речь идёт о группе людей. Как их снять с фоном? Он должен быть или очень большим (дорого, тяжело нести, долго монтировать / демонтировать) или снимать по частям (долго, не всегда возможно и прочее). Если у Вас студия, то вопросов нет, а если Вы - любитель, то в некоторых случаях нужен запасной вариант.

Что какасется исходных изображений. Они действительно сделаны с некоторым смещением. Но я сделал всё возможное, чтобы этого избежать! Снимал со штатива, на тросик. Эти смещения физически неизбежны, так что устранить их должна программа.

[Александр Алексеев]

Qugurun, спасибо за наводку https://slazzer.com/.

Сразу опишу свои впечатления от этого сервиса.
Можно загружать и получать превьюшки без регистрации.
Можно бесплатно зарегистрироваться и обработать два изображения бесплатно, что я и сделал.
Ощущения неоднозначные.
1. Как и Remove.bg этот сервис каким то (непостижимым для меня) образом хорошо определяет объект. Это - фантастика! Оценка: 5+!
2. Края объекта просто обведены по контуру ластиком таким образом, что создаётся плавный переход прозрачности, причём с таким радиусом, что это ни в какие ворота не лезет! В общем, обработка границ на 2!

[x128]

Александр Алексеев,

Хотелось бы иметь инструмент типа графического редактора

Есть неплохой инструмент Topaz Mask AI.

Однако есть проблема. Сам сервис Remove.bg в результирующий PNG в качестве цвета фона ставит чёрный цвет вместо исходника.

Что мешает подложить фон из оригинала?

[Александр Алексеев]

x128, Спасибо за ответ!

Есть неплохой инструмент Topaz Mask AI.

Попробовал по Вашей ссылке. Очень большой спектр продуктов по обработке фото и видео. Внушает.
Смущает размер дистрибутива 200МБ, ну да бог с ним, установил.
Дают 30-дневный триал. Что до обработки, то, на мой взгляд, есть некоторая небрежность в определении и обработке краёв.

Но, в целом, программа заслуживает внимания и изучения. Пожалуй, надо будет в ней покопаться.

Что мешает подложить фон из оригинала?

Мешает необходимость делать лишние телодвижения.
Я разрабатываю технологию отделения объектов от фона по двум изображениям. В софте который я писал ранее (пока результат не устраивает) от пользователя требуется минимум действий. .

Answer 2

[U235U235]

Считаем абсолютную разность картинок, бинаризируем ее по порогу и получаем маску. Все.

Comments

[U235U235]

ImageMagick должен в этом помочь. :-)

[Александр Алексеев]

А Вы пробовали это проделать? Ну, если честно?
А вот я пробовал. Попробуйте, результат Вас сильно удивит.
Огромное кол-во артефактов, даже при съёмке на зеркалку со штатива и с полностью ручными настройками ISO, выдержки, диафрагмы и фокуса.
Здесь требуется куча дополнительных алгоритмов по удалению возникающих из-за (даже субпиксельных смещений!) точек. Кроме того, в отдельных местах возникают дырки из-за одинакового цвета фона и объекта.
И на последок - обработка краёв. Там столько мучений!

Нет. Ваш ответ - ответ теоретика, который сам ничего не пробовал. Это задачка для титанов. Собственно, поэтому и спрашиваю, потому что не вижу пока таких технологий.

[U235U235]

Александр Алексеев, да, я пробовал в imagemagick. Артефактов действительно много, но они мелкие. Для их удаления можно использовать морфологические операции. Также, если объект один и крупный, то можно делать селекцию по площади. Не вижу тут серьезных проблем.

[Александр Алексеев]

U235U235, тогда почему нет готовых продуктов на рынке?
Или есть? Можете назвать?

Я сам писал подобный софт, но в какой то момент забросил, потому что понял, что некоторые проблемы решить не в силах. Результат получается так себе. Думаю, может кто-то поумнее меня справился.

[U235U235]

Над контурами надо бы еще поработать, но думаю, идея понятна.

composite 1.jpeg 2.jpeg -compose difference  -colorspace Gray  difference_jpeg.png
convert difference_jpeg.png -blur 0x8 -auto-level -threshold 5% difference_blur.png
convert difference_blur.png -define connected-components:area-threshold=36000 -define connected-components:verbose=true -connected-components 4 -auto-level objects.png
composite 1.jpeg  -compose Multiply objects.png  compose_multiply.gif

[Александр Алексеев]

U235U235, Спасибо за пример!
Только почему у объекта такие большие поля по границе? Это как-то лечится?

[Qugurun]

Посмотрите на данную реализацию, выглядит именно так как вы и предполагали https://grail.cs.washington.edu/projects/backgroun... только для работы видимо нужна хорошая видео карта.

[aapsoftware]

Спасибо, интересный проект!