motion estemation или detection или deshaken (стабилизация видео), с помощью этих алгоритмов убирают тряску на видео, вычисляя для каждой точки на изображении вектор сдвига (он может быть разный, если объект на видео двигается)
первый же запрос в гугл дает
статью с примерами для питона на opencv (кстати это только один из способов, возможно тебе подойдет другой)
вот
статья про двухпроходную стабилизацию видео на основе ffmpeg, первый проход генерирует файл с векторами
