Можно обучить нейронную сеть монтажу видео?

Question

[Рустам Салаватов]

Добрый день.
Есть идея, делать монтаж видео автоматически.
Возможна такая схема работы.
Допустим:
Есть уже кадры из видеоролика, с параметрами в базе: размер лица, цвет, какие объекты (котики, машины, силуэты и тп)
Есть паттерны на базе фильмов.
Обучать сеть я также могу сам.
Надо из этих кадров, составить фильм. Сеть сама по паттернам и опыту должна определить их порядок.

Как примерно это будет выглядеть процесс, и возможно ли это?
Какую сеть или алгоритм можно использовать.

Возможно самообучающие системы использовать вроде этой
habrahabr.ru/company/itseez/blog/206116

Answer 1

[Сергей Протько]

Я сильно сомневаюсь что тут нужна нейронная сеть...

www.disneyresearch.com/wp-content/uploads/Project_...

Comments

[Рустам Салаватов]

спасибо, да видел анонс их технологии. но там больше анализ по движению и у них есть данные с разных камер и данные акселерометра. У нас больше киномонтаж, истории. У нас данные с одной камеры без данных по положению в пространстве. Нужно больше чем просто набор картинок. Учитывать разные планы, крупности... Заменить как бы монтаж человеком. Заставить составлять истории...

[Сергей Протько]

@fortunato: ну для этого вам нужен ИИ.

Answer 2

[lightcaster]

Думаю, можно.

Но это будет непросто. Нужно много данных: исходных фрагментов и чистового видео.
Проще, думаю, начать с автоматической обработки фотографий.

Answer 3

[Michael]

автоматически монтрировать можно, но не все. там где нужен связанный сюжет со смысловой нагрузкой - слишком сложно и не очевидно по затратам и результату. Авто-монтаж сейчас это video synopsis & summarization, базируется на анализе движения/изменениях в кадре, те уже не просто детектор движения, но анализ его изменения.
Есть несколько проектов с шаблонами видео, но результат их работы больше похоже на слайдшоу, те никакой осмысленности монтажа там нет, хотя лица/фигуры определяют и размещают что уже не плохо.

Автоматизация для киномонтажа, да еще и прокатного - практически нереально, тк смысловое наполнение ни один ИИ пока не научился ни делать, ни анализировать. например есть несколько стартапов по анализу и составлению сценариев, но как то там не сильно много движения, или просто графоманов слишком много :)
Шаблоны некоторых моментов действительно могут быть полезны, но напрямую составить из них фильм со смыслом, а если еще и со звуком/речью, будет крайне сложно.
Тем не менее, автоматизация и анализ киномонтажа есть и работает, но цели немного другие.

Comments

[Рустам Салаватов]

Спасибо за комментарий подробный. Все правильно, ИИ не сможет делать прокатный фильм или сводить звук и тп. Мы как раз сейчас делаем по простому, определяем движения и лица. Сделали прототип, вот работы up.lifefilm.ru/newfilms.html . Мы делаем больше музыкальные клипы. Принципы киномонтажа нужны чтоб правильно сложить кусочки видео, более умно)

[Michael]

you are welcome. не вижу ваших контактов, постучитесь ко мне в fb если не сложно. я занимаюсь filmanalys.is и скорее всего могу чем нибудь помочь с видео :)