Построение 3D модели человека на основании фото. Как сделать быстро и удобно?

Question

[Alexey Nesto]

Добрый день,

Что ни день, то очередной раз успех ИИ. А вот старая добрая задача так и не решена: быстрое создание аватара человека в 3д. Вкратце задача формулируется следующим образом: сформировать 3д образ тела человека на основании фотографий с минимальным его вовлечением. И минимальной ручной обработкой. Либо чтобы обработка была нужна только первое время: для обучения и устранения артефактов

В ходе мозгового штурма придумали следующую идею:
1. Раздать всем растягивающиеся футболки, размеченные квадратами фиксированного размера
2. Человек делает три фото: 2 профиля и анфас
3. На основании искажений квадратов рассчитывается 3д модель на наших мощностях
4. Формируется 3д изображение для использования
Profit!

Собственно вопрос: что думаете о сложности и необходимых ресурсах для такой схемы?
Есть ли другие предложения. :) главное, чтобы было просто

Текущие программы для такого - это ад,конечно

Буду рад обсуждению

Comments

[Роман]

Несколько лет назад (может даже и более 10 лет назад) компанией autodesk был анонсирован сервис 1234 catch (ныне является частью сервиса 123D apps, который достаточно качественно решает вашу задачу.
Работало это так:
1. Объект сканирования устанавливался неподвижно (если это человек, то он мог быть одет во что угодно, никаких размалеваных квадратами футболок и сканирующих лазерных лучей)
2. Пользователь делал видеозапись путем перемещения камеры по окружности в 360 гр. вокруг.
3. данная видеозапись заливалась на сервис
4. сервис обрабатывал видеозапись, строя 3D модель

Вот видеоролик, показывающий как это работает сейчас

Answer 1

[Александр Скуснов]

Попробуйте сделать текстуру из фотографий

По-моему, способ Романа удачнее.

Answer 2

[GreatRash]

Я прям инструкцию нашел.

Answer 3

[Арсений Кравченко]

Алгоритмы построения 3д моделей как раз основаны на том, что камера (точка, с которой делается фото) меняется, а сам объект — нет. Таким образом, растягивающиеся футболки как раз не подходят, они нарушают это допущение; обычно используется либо заранее известный маркер размера (например, как в этом мануале https://docs.opencv.org/3.1.0/d5/dae/tutorial_aruc... либо какие-то ключевые точки находятся алгоритмически.
Настолько я знаю, простого и универсального решения этой задачи в такой постановке нет. В качестве начальной точки можете почитать про https://en.wikipedia.org/wiki/Photogrammetry.

Comments

[Роман]

То что вы говорите - теория. Практика же показывает что возможны варианты. У тех же растянутых футболок есть за что зацепится. Градиент освещенности, изгибы и складки самой материи и многое другое. Спорить не буду, растянутая футболка может существенно понизить точность модели, но почему вы решили что полученной точности недостаточно для достижения поставленных целей? При этом надо учитывать, что достаточное количество фотографий с хорошим разрешением напротив, способны существенно повысить точность модели.

[Арсений Кравченко]

Ключевое слово - простого.
Я не говорю, что это невозможно, я представляю качество объектов, получаемых при помощи подобных решений - это хороший старт, но результат обычно требует доработки, алгоритм не очень стабильный.

По поводу футболок я утверждаю, что это не упрощает алгоритм. Т.е. напрямую восстановить камеру из футболки нельзя в силу ее неригидности, а для фотограмметрии наличие футболки уже не важно.

[Alexey Nesto]

Арсений Кравченко, а если решать задачу алгоритмически? Зная исходные параметры и сравнивая с получившейся фигурой (по сути проекцией), мы можем получить 3д модель. Разве нет?

[Арсений Кравченко]

О каких исходных параметрах речь?

[Alexey Nesto]

если взять размеченную 3д поверхность и сделать от нее проекцию на плоскость, то мы можем аналитически на основании проекции и понимания формы сможем восстановить. грубо говоря: проецирую шар на плоскость, мы можем на основании измерений проекции восстановить шар.