Pavel K

В общем либо пробегаться по всей картинке и искать первый попавшийся пиксель по горизонтали/вертикале по обеим сторонам, либо docs.opencv.org/2.4/doc/tutorials/imgproc/shapedes...

В общем вкратце:
нужно смещать целевые точки,
что бы найти куда смещать - нужно узнать где окажутся углы картинки после трансформации
по ним найти ограничительную рамку
по её позиции сместить все целевые точки в обратную сторону
заново пересчитать матрицу трансформации
Подробнее оформил в пост: pavelk.ru/opencv-warpperspective-bez-obrezki-whole...

В общем попробовал квадрат в квадрате, как у Qr кода ,
распознаётся замечательно!
Алгоритм для OpenCV - ищем контуры, ищем закрытые конутры, находим где контур в контуре (можно ещё проверить, что это квадрат), вычисляем площадь внешнего и внутрненнего и смотрим соотношение.

OpenCV прекрасна.
Все методы есть и для Явы и для Питона и для C++ просто называться могут по-разному.

Почти решилось с помощью Digimarc for images. Жаль, но платный.
После печати считывается. Небольшие проблемы с яркостью и маштабированием.
Буду делать аналогичным способом - изменять яркость некоторых участков.
Что-то типа QR кода.