Так и должно быть, потому что у вас кодек inter-frame (один кадр ключевой, N после него - производные), а значит ПК постоянно производит расчеты, чтобы видео воспроизвести. Плюс когда перематываете - ПК сначала ищет I-фрейм, а потом рассчитывает тот, на который вы подмотались.
Для монтажа придумали монтажные кодеки, у которых каждый кадр - отдельный, intra-frame. Например DNxHR\DNxHD, ProRes и прочие - конвертируйте видео в них, а потом работайте с конвертированным видео. Места занимают много, зато прекрасно перематываются.
Можете почитать тоже самое, например, здесь:
https://postproduction.emerson.edu/hc/en-us/articl... 
