В общем случае линейно, но зависит от кодека и способа кодирования.
Например кодеки бьют последовательности кадров на фреймы, и сохраняют полностью только первый кадр из 12-20.
Может случится так, что потребуется воспроизводить только первый кадр из фрейма, тогда другие могут быть отброшены. Но не знаю, есть ли такая логика в кодеках.