Мне кажется стоит сделать расчет по sin/cos где аргументом будет положение по Y мыши, как начало координат. И положение других элементов рассчитывать уже относительно их положение по Y от начала координат
Тогда при перемещении мыши будет плавное изменение