Как использовать 100% CPU при работе ffmpeg?

Question

[Евгений]

Ребята, попробовал несколько машин – от 4 до 32 ядер – в итоге, при большом количестве ядер (12 и больше) загрузка процессора не полная. Машина с 32 ядрами выполняет конвертацию на 15% быстрее машины с 16 ядрами, а стоит в 2 раза дороже.







Кто более глубоко понимает работу ffmpeg, подскажите, есть ли способ заставить использовать все ядра процессора на 100%, или это технически невозможная задача?

Comments

[Евгений]

Dr. Bacon, не. Вопрос не об этом.

[Евгений]

Dr. Bacon, спасибо, друг, но все же вопрос не об этом.

[Drno]

Евгений, попробуйте указать ему параметр -threads 32

[mayton2019]

Это можно но безсмысленно. Дело в том что утилизация CPU не всегда связана с производидельностью приложения. Можно запустить и больше конкурирующих потоков и процессов но они будут конкурировать за оперативную память и кеши L1-2-3 и диск.

Оптимальную нагрузку можно подобрать только исходя из КПД вашего приложения. Меряйте с секундомером время готовности пережатого фильма. Оптимум можно будет найти за 3-5 экспериментов с разным числом потоков.

С миром автопрома есть хорошая аналогия. Расход бензина например. Вы-же не ставите задачу своей машине - жечь его как можно больше?

[Евгений]

mayton2019, спасибо, развернуто.
Есть какое-то количество бензина (бюджет), можно сжечь весь без остатка, но показать лучший результат.

[Евгений]

Drno, к сожалению, результат точно такой же: что по загрузке CPU, что по скорости конвертации.

[xotkot]

Евгений, а при уменьшении параметра -threads у вас увеличивается нагрузка на ядра ?

также видно htop показывает что ядера загружены задачей с низким приоритетом (синий цвет).
попробуйте с помощью утилиты nice запускать ffmpeg с повышенным приоритетом.

[mayton2019]

Есть расширенная часть закона Амдала (это про HighLoad) которая показывает что начиная от некоторого количества потоков перформанс приложения будет резко падать. Далее запускай хоть 64 хоть 128 ядер. Они все будут драться за один спинлок или выбивать полезные странички из L1 и ожидать своих страничек к примеру и это займет их 99% времени. А оставшися 1% они будут посвящать полезной работе.

Лекарства от этого нету. Есть варианты - уменьшить число потоков и поднять тактовую частоту. И второе - просто переписать приложение по другому.

[Евгений]

xotkot, спасибо, попробую. Но судя по запущенным процессам, только ffmpeg работает. При этом линукс не должен разве ему отдать все необходимые ресурсы?

[xotkot]

Евгений, хз, возможно ядерный планировщик при большом количестве ядер не совсем оптимально распределяет ресурсы ну или идёт затык на самом ffmpeg

попробуйте разную технику многопоточности для libx264

nice -n -20 ffmpeg ... -vcodec libx264 -threads N -thread_type STR ...

N - количество потоков (попробуйте разные значения)
STR - техника многопоточности slice или frame

[Евгений]

xotkot, спасибо за thread_type, пошел тестировать.

[rusrich]

Евгений, Евгений, Как тесты прошли? Можете поделиться?