Есть ли приложения генерирующие анимацию облака точек по видео?

Question

[true]

чтобы на вход подать видео на котором например на переднем плане объекты движущиеся - и на выходе получить 3d анимацию облака точек?

понятно что тут нужны нейросети

недавно где-то видел инфу о приложении которое по фотке лица делает 3д фигуру лица
может быть уже и для видео есть такое?

Comments

[Александр Павлюк]

С одной камеры это невозможно же. Нужна хотя бы стереопара или сенсор глубины.

[true]

Александр Павлюк, нейросетями же

[Александр Павлюк]

true, нейросети это не серебрянная пуля. Они дадут очень неточный результат тут, особенно если данные будут сильно отличаться от тех, на которых их тренировали.

[true]

Александр Павлюк, нс это именно волшебная серебрянная пуля
магия

[Wataru]

Вряд ли есть нейросети для этого. Видел какие-то научные статьи, где по куче фотографий помещения с разных точек восстанавливают 3d карту помещенния. Там, всякое машинное зрение выделяло фичи в картинках а потом вычислительная геометрия и линейная алгебра позволяли восстанавливать координаты. По видео это тем более возможно, если камера двигается.

Answer 1

[rPman]

Задача может быть решена аппаратно, 3d камеры от того же intel в примерах в sdk предлагают софт именно для этого, дают облако точек, но пользоваться этим невозможно

--------
нейросеть, те что имеются, не поможет с видео, главная причина - соседние кадры анализируются независимо и все это работает с огромными погрешностями.

Вектор угла направления взгляда/положения лица будет прыгать как сумашедший от кадра к кадру, я еще про эмоции не сказал, каждая эмоция тоже параметризована, все это не позволит дать точное соответствие одной и той же точки на лице на соседних кадрах, т.е. построив к примеру поверхности по этим точкам они просто не сойдутся на следующем кадре, в результате будет сильный шум, затрудняющий хоть какую то адекватное применение (игрался я с 3d камерами от intel, сильный шум результата делает все бессмысленным)

Answer 2

[forzcross]

Теоретически можно всего этого добиться и без нейронок, чисто через компьютерное зрение и щепотку математики. В blender3d есть поддержка motion capture через разметку точек на видео и последующего трекинга через относительную скорость (пример). Возожно через встроенный интерпретатор python написать скрипт для аппроксимации отслеживаемых точек. Точность скорее всего будет низкая, возможно понадобится делать несколько прогонов с разными комбинациями маркеров и последующей комбинацией результатов.
А лицо по статической фотографии можно только примерно угадать, опять же большинство реализации сейчас на компьютерное зрение опираются.