Какие есть возможные варианты решения для определения пользователя через вебкамеру?

Question

[Александр Мурашкин]

Добрый день, пытаюсь реализовать функционал размытия заднего фона для пользователя при трансляции с веб-камеры. Наткнулся на bodypix https://github.com/tensorflow/tfjs-models/tree/mas... но данное решение выдает низкий fps.
P.S Коллеги по цеху советовали OpenCV, но каким образом он может помочь с данной задачей?
Подскажите в какую сторону искать? Какие есть возможные решения для данного функционала?
Спасибо, за ответы.

Answer 1

[Владимир Коротенко]

Видимо таким
https://docs.opencv.org/3.4/df/d6c/tutorial_js_fac...

Comments

[Александр Мурашкин]

Спасибо за ответ, здесь реализовано определение только лица, а требуется определение всего человека как пример в bodypix.
Или я вас не верно понял?

[Владимир Коротенко]

Александр Мурашкин, там в модели можно подгружать распознанные вектора, соответственно вам будет выдаваться мера совпадения.

Answer 2

[rPman]

Если камера и фон относительно статичны, можете вычислять изменения относительно специально снятых кадров и замыливать только то что не изменилось какое то время (подкручивать параметры, какое количество и какие именно изменения считать таковыми) - самое быстрое решение но будут артефакты и замыливания одежды, если не шевелиться.

Так как в данной задаче тупо получается работа с матрицами - opencl идеален, вполне возможно там уже есть готовые фильтры.

Проект по вашей ссылке выше по мне так идеален под сформулированную задачу, тормозит скорее всего неправильно сконфигурированное железо (нет драйверов на видеокарту) либо вообще нет GPU

The ResNet architecture is recommended for computers with even more powerful GPUs.

Comments

[Александр Мурашкин]

Спасибо за ответ, я написал прототип используя данную нейросеть с отрисовкой webgl маски и размытия через фрагментный шейдер, все это работает на более менее производительный пк, но на тестах мака macbook air с встроенное видеокартой, выдает очень низкий фпс, хотя сюда по аналогам например skype, такая функциональность показывает хороший результат. Хотелось бы узнать в какую сторону искать чтобы добиться хороший производительности и на слабых пк.