RAFAILgaley
@RAFAILgaley

Есть ли приложения генерирующие анимацию облака точек по видео?

чтобы на вход подать видео на котором например на переднем плане объекты движущиеся - и на выходе получить 3d анимацию облака точек?

понятно что тут нужны нейросети

недавно где-то видел инфу о приложении которое по фотке лица делает 3д фигуру лица
может быть уже и для видео есть такое?
  • Вопрос задан
  • 131 просмотр
Пригласить эксперта
Ответы на вопрос 2
@rPman
Задача может быть решена аппаратно, 3d камеры от того же intel в примерах в sdk предлагают софт именно для этого, дают облако точек, но пользоваться этим невозможно

--------
нейросеть, те что имеются, не поможет с видео, главная причина - соседние кадры анализируются независимо и все это работает с огромными погрешностями.

Вектор угла направления взгляда/положения лица будет прыгать как сумашедший от кадра к кадру, я еще про эмоции не сказал, каждая эмоция тоже параметризована, все это не позволит дать точное соответствие одной и той же точки на лице на соседних кадрах, т.е. построив к примеру поверхности по этим точкам они просто не сойдутся на следующем кадре, в результате будет сильный шум, затрудняющий хоть какую то адекватное применение (игрался я с 3d камерами от intel, сильный шум результата делает все бессмысленным)
Ответ написан
Комментировать
@forzcross
Теоретически можно всего этого добиться и без нейронок, чисто через компьютерное зрение и щепотку математики. В blender3d есть поддержка motion capture через разметку точек на видео и последующего трекинга через относительную скорость (пример). Возожно через встроенный интерпретатор python написать скрипт для аппроксимации отслеживаемых точек. Точность скорее всего будет низкая, возможно понадобится делать несколько прогонов с разными комбинациями маркеров и последующей комбинацией результатов.
А лицо по статической фотографии можно только примерно угадать, опять же большинство реализации сейчас на компьютерное зрение опираются.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы