Как склеить программно 2 изображения?

Question

[ProsoIgrok]

Доброго времени суток!

Есть два файла .png(кадры из видео) с перехлестом
Задача : склеить оба файла по общей границе.

Пытался найти общую границу суммирование пиксилей (getPixel(x,y) по колонкам. Но оказалось не так все просто. ))
Может кто-то подскажет готовое решение (библиотеку) или в каком направлении гуглить.
Много чего нагуглил, но пока ничего не нашел . Поэтому решил обратиться на форум.
Спасибо

Comments

[Viktor T2]

OpenCV
https://pyimagesearch.com/2018/12/17/image-stitchi...
OpenCV есть для Java
Еще есть вот что:
libvips
https://www.libvips.org/API/current/libvips-mosaic...
https://stackoverflow.com/questions/50168292/stitc...
но это слишком заморочно
Еще есть BoofCV:
https://boofcv.org/index.php?title=Example_Image_S...

[ProsoIgrok]

Спасибо! буду разбираться

[mayton2019]

Пытался найти общую границу суммирование пиксилей (getPixel(x,y) по колонкам. Но оказалось не так все просто. ))

Неудивительно. Это непростая задача. Когда я увлекался фотографией. Был разный софт для склейки панорам.
Вобщем эти все утилиты назывались Panoraming или Stitching tools. Все - стоило денег и имело только UI-реализацию.

А щас я смотрю появилось много открытого API. Это хорошо. И спасибо Viktor за линки.

[Viktor T2]

Дополню, C и С++ тулзами
OpenPano https://github.com/ppwwyyxx/OpenPano
Panorama Tools https://ru.wikipedia.org/wiki/Panorama_Tools

Answer 1

[Vindicar]

Ну базовый вариант, если используешь OpenCV, ориентируйся на поиск локальных особенностей, а потом findHomography(), чтобы найти такое преобразование, которое переведёт точку на первом кадре в эквивалентную точку на втором. После этого warpPerspective(), чтобы преобразовать первый кадр в систему координат второго. Это должно совместить общие точки.

Но это сработает только если на обоих кадрах есть достаточно контрастных общих точек, по которым их можно склеить.
С другой стороны, если относительная позиция двух кадров не меняется со временем, то достаточно вычислить преобразование один раз на "удачной" паре кадров, и потом применять его ко всем парам.