OpenCV многопоточный поиск в видео?

Question

[WinAx]

Приветствую!
Написал программу на Qt с использованием OpenCV под Ubuntu которая ищет положение в видео файле по фото с экрана, к примеру.
Задается путь к видео, путь к изображению после обработки выдается время в секундах.
Решил оптимизировать добавив разбиение поиска на доступные ядра процессора.
Каждый поток выбирает ядро, инициализирует свой VideoCapture, начинает поиск с определенной позиции и на определенное количество кадров.
Все работает правильно, в моем случае все 12 ядер загружаются на сто процентов в отличии от первой версии которая загружала одно ядро.
НО!... Поиск идет примерно в 10 раз медленнее...
С чем это может быть связано?

Comments

[Roman]

Кол-во физических ядер минус 1

[WinAx]

почему?
от 0 до 11 имеется ввиду? это учитывается.

[Roman]

WinAx, у вас 12 ядер. Запустили свою программу это уже - 1
осталось "свободных" 11.

Задается путь к видео

Возможно у вас получается 12 процессов обращаются к диску... даже на ssd это очень медленно по сравнению с ОЗУ. Плюс к этому кэш память то же не резиновая.

Для начала попробуйте загрузить все в ОЗУ, что бы к диску не обращаться и разбить данные на 10 (или меньше) потоков, и обрабатывать данные кусками (размер кэша процессора / кол-во потоков)

[WinAx]

инициализирующий поток не нагружает ни проц, ни диск, ничего. во всяком случае на графиках этого не видно (до 1 процента).
диск используется примерно на 30% во время работы.
основная нагрузка идет на процессор, там идет сравнение кадров видео с фото экрана. ресурсоемкая задача.
"все в ОЗУ" - это хорошо если видео не большое. но вообще, никаких ограничений на длину видео быть не должно.

[Roman]

WinAx,

инициализирующий поток не нагружает ни проц, ни диск, ничего. во всяком случае на графиках этого не видно (до 1 процента).

Ну и хорошо, оставьте системе хоть что нибудь. Эти 30% нагрузки отнимают N времени на последовательные операции чтения с диска.
Какой у вас процессор?

[WinAx]

перебьется система)) а если серьезно, то ресурсы делятся в зависимости от потребностей потока.
у меня проц. Intel Core i7-8700.
какой будет на сервере не знаю.

[Roman]

WinAx,
https://ark.intel.com/products/126686/Intel-Core-i...

6 ядер, 12 потоков.
6 физических ядер.

Получается, что ваши потоки по 2 на ядро постоянно между собой переключаются отсюда и падение.
Ну еще и кэш засирается.

[WinAx]

я знаю!)
и?)
замедляется процесс в 10 раз... примерно

[WinAx]

кстати, таже ситуация на сервере.
не знаю какой там процессор, знаю что 8 ядер.
так же однопоточная версия справляется в 10 раз быстрее, примерно

[Roman]

WinAx, сумма факторов.
И https://ru.wikipedia.org/wiki/Кэш

[Roman]

WinAx, что и?
Если знаете, то зачем на одно ядро вешать два потока, которые заведомо будут медленнее, чем один, из-за затрат на переключение контекста между ними(потоками).

12 потоков на 6 физических ядрах это турнир по пинг-понгу.

Вы бы вопрос поправили, указав что процессор 6-и ядерный. А не 12.

Решил оптимизировать добавив разбиение поиска на доступные ядра процессора.
Каждый поток выбирает ядро, инициализирует свой VideoCapture, начинает поиск с определенной позиции и на определенное количество кадров.
Все работает правильно, в моем случае все 12 ядер загружаются на сто процентов в отличии от первой версии которая загружала одно ядро.

[WinAx]

а ничего что в системе в основном тысячи потоков. и как то они работают.
или давайте вспомним одноядерные процессоры.
там как то работал WinAmp и Internet Excplorer и еще система не тормозила.
Хотя часто "осел" забирал почти все ресурсы, звук при этом не останавливался.

это все так...
главное! в любом случае, 6 или 12 физ. ядер, процесс не должен замедлятся!

Answer 1

[Vladimir S]

плохой алгоритм или слишком много потоков.

Comments

[WinAx]

ну, ладно, плохой алгоритм, а что значит слишком много потоков?
кстати, алгоритм тот же что и однопоточном варианте, отличия описал выше.

[Vladimir S]

openCV для видео использует скорее всего ffmpeg. тот для декодирования видео использует кодеки и как правило в многопоточном режиме. при декодировании может получиться картина - вы создали 10 потоков, в каждом из них opencv/ffmpeg создал еще 5-50 своих потоков. в каждом потоке куча работы - превышающая возможности железа - изза чего провал производительности.

у меня была схожая проблема - только обработка шла в отдельных процессах. на слабой машине было все ок - на машине с кучей ядер - фейл. пока вручную не отрегулировал. т.е. получалось так - запустил 10 процессов - нагрузка 50 % и все норм. 12 - уже 100% и фэйл.

[WinAx]

да, opencv использует ffmpeg.
в первой версии с одним потоком загружалось только одно ядро.
сейчас каждый поток выбирает себе ядро функцией pthread_setaffinity_np.
в итоге загружены все ядра.
да и фэйлов нету, все работает нормально, только в 10 раз медленнее...
так что проблема явно в другом.

[Vladimir S]

да и фэйлов нету, все работает нормально, только в 10 раз медленнее...

это и есть ваш фэйл.
начните с 2х потоков - посмотрите если ли прирост.

Answer 2

[klepiku]

каждое ядро выполняет одну и ту же задачу

попробуйте (если возможно) разделить видео на квадраты по ядрам

Comments

[WinAx]

нет.
к примеру, видео 120 секунд.
первому потоку поручено проанализировать первые 10 секунд.
второму тоже 10 секунд но начиная с десятой секунды и тд

Answer 3

[PyNen]

Все ответы на сайте нвидиа. Gpu даёт увеличение производительности в 15 раз по сравнению с cpu. Есть ещё какая-то программа, благодаря ей можно и в 17 раз производительнее. Caffe посмотри, сверточную нейронную сеть. Она обрабатывает видео дважды - разреза видео на Горизонтальные полосы на количество ядер, потом на вертикальные. Ссылки не могу дать. Opencv - 1 слой распознавания. Сверточная нейронная сеть - от восьми.

Comments

[WinAx]

работать должна на выделенном сервере. там не будет мощной видео карты.
OpenCV справляется нормально, непонятно почему при увеличении количества потоков падает производительность.
мютексы не используются, видео доступно на чтение всем потокам во время работы.
может сама система ставит что-то вроде мютексов во время много поточного чтения файла или Qt выделывается?

Answer 4

[Александр Таратин]

Попробуйте на этапе сборки opencv отключить поддержку OpenCL и CUDA.

Comments

[PyNen]

Это не поможет, это разные программы. А прирост производительности будет, если он их будет использовать - в 15-17 раз.

Answer 5

[Сергей]

Файл лежит на диске, в случае одно поточной программы вы последовательно, байт за байтом, читаете файл.
В случае многопоточной, диск вынужден головкой крутить туда и сюда, т.е. время доступа к данным увеличивается.
Т.о. диск может быть узким местом для вашей системы. То что показывает загрузку 100% для процессоров - это ни о чем не говорит.

Второй вариант: внутри OpenCV возможно есть какой-то разделяемый ресурс, который не может быть использован одновременно всеми потоками. Т.о. возможно (я не специалист), достаточно скомпилировать OpenCV с поддержкой многопоточности.