В общем, необходимо отнять xDiff от x1 и yDiff от y1 в handleTouchStart. Их нужно тоже инициализировать глобально, чтобы можно было использовать в функции.
/* ... */
let xDiff = 0;
let yDiff = 0;
function handleTouchStart(event) {
const firstTouch = event.touches[0];
x1 = firstTouch.clientX - xDiff;
y1 = firstTouch.clientY - yDiff;
}
/* ... */
Вот решение:
https://codepen.io/vlad-tarasoffka/pen/bGjXwWq