Почти наверняка вы 99% времени меняете DOM объектов, которых даже не видно на экране, так выставьте их реальное перемещение на скроллинг, двигая только те элементы, что сейчас видимы на экране.
Если вам действительно нужна сложная анимация, где элементы двигаются независимо (а иначе их можно было бы разместить в едином div-е и двигать его максимально оптимально) то да, у вас проблема и придется менять используемые инструменты. Например чуть более эффективно работает SVG а еще более эффективно canvas и конечно же 3d-рендеринг с использованием видеоускорителей.
p.s. 99% проблем создает именно HTML DOM, на его изменения обычно тратится уйма времени.