U235U235

Откройте исходники OpenCV и посмотрите как это сделано в функции minAreaRect. Все.

Свертка и кросс-кореляция это по сути одно и тоже, только в одном случае второй сигнал обращен (перевернут), во втором - нет.

Если фильтр симметричен, то разницы никакой нет.

ImageMagick'ом

Почему Вы решили, что вам нужна именно фильтрация в частотной области? Это совершенно не очевидно из вашего описания. Что Вы хотите получить в итоге?
Если хочется поэкспериментировать с картинками, то есть Imagemagick. Это избавит от необходимости писать код. https://legacy.imagemagick.org/Usage/fourier/
Там же есть примеры фильтрации в частотной области, например удаление типографского растра.
P.S. Гонcалес, Вудс хорошая книга. :-)

Считаем абсолютную разность картинок, бинаризируем ее по порогу и получаем маску. Все.

w/c=sin(a)+cos(a)
(w/c)^2=1+sin(2a)
sin(2a)=(w/c)^2-1
a=0.5*arcsin((w/c)^2-1)

Надеюсь, на выходе у вас не jpeg?