Ответ оказался не так очевиден, как казалось. Везде pointermove работал плавно, кроме firefox. Это же касается события scroll. Суть в том, что firefox, в отличии от других браузеров, не успевает отрисовывать фреймы за движением мышки пользователя. Потому решение оказалось банально простое: реализовать тротлинг или же использовать requestAnimationFrame().
Статья, которая помогла решить проблему