Думаю, что CSS transform: translate() будет работать немного быстрее, это раз.
Можно переставать рисовать во время перемещения, это 2.
Можно попробовать отключить pointer-events в css.
Но главный момент - чем больше локация, тем больше будет фризов, от этого никуда не убежать, пока не начать рисовать на canvas в размер экрана, (время доступа к бОльшим ресурсам всегда больше). Как перерисовать тайловую карту быстро сохраняя плавное перемещение карты? Можно глянуть на реализацию яндекс-карт, там карта рисуется чуть больше экрана на величину тайла, плавно сдвигается трансформацией и рисуется лишь новый край при смещении более чем на 1 тайл. В профиле есть, почта, пиши, могу разъяснить чуть подробнее.