Возможно вам лучше вместо `changedTouches[]` воспользоваться `touches[]`
// ..
top: orig.touches[0].pageY - offset.y,
left: orig.touches[0].pageX - offset.x
И пару советов:
— не используйте `.css()`, сохраняйте референс на стиль и при движении меняйте свойства `style.left = «Xpx»`. А ещё лучше использовать на андоиде `webkitTransform / translate`
— используйте отложенное перемещение — вот старый гист, но что бы понять идею с `requestAnimationFrame`:
dragger 
