Если необходимо вычислить только сдвиг, то используйте phaseCorrelate. Если необходимо вычислить поворот и сдвиг, то алгоритм действия такой:
1. если изображения прямоугольные, то вырезаем квадрат по меньшей стороне. Затем умножаем на окно Ханна (createHanningWindow);
2. вычисляем дпф;
3. вычисляем логарифм амплитудных спектров;
4. переводим получившиеся изображения в полярную систему координат;
https://www.youtube.com/watch?v=JZRSDDzTwts&ab_cha...
5. используя phaseCorrelate получаем оценку поворота (сдвиг по OY, если память не изменяет);
6. поворачиваем исходное изображения;
7. с помощью phaseCorrelate находим сдвиг;