Формат файла не имеет значения, поскольку является лишь контейнером для потока данных. А то каким кодеком сжато - имеет.
Есть кодеки, которые "жрут" ресурсы процессора больше, чем другие. Скажем, H.265 / HEVC кушает больше, чем H.264.
What is the difference between HEVC (H.265) and H....Computationally expensive (~ 300 % + ) due to larger prediction units and expensive Motion Estimation (Intra prediction with more nodes, asymmetric partitions in Inter Prediction).
Тормоза могут выражаться в меньшем FPS. Это может зависеть как от реализации кодека в используемом софте, так и в поддержке необходимых аппаратных инструкций процессора для ускорения декодирования.
Тормоза также могут быть вызваны "битым" потоком данных, из-за чего программе нужно восстанавливать данные или делать какие-то дополнительные манипуляции.
