Лучше вынести
var video = document.getElementById("video");
в отдельную функцию которая будет срабатывать только при загрузке видео. Вы каждый раз парсите DOM.
function skip(value) {
video.currentTime = value;
}
Работает без задержек.
Ну и кеширование может быть причиной.