Viscom
@Viscom
Cinemaholic

Как реализовать браузер и редактор для направленной графовой базы данных, основанной на видео в форме сиквенции изображений?

Какой наиболее достижимый для НЕ программиста способ (подразумевающий некоторое обучение, разумеется) реализации браузер-редактор для направленной графовой базы данных, связывающей:
- видео в форме сиквенций изображений (фильмы - около 200,000 фреймов на каждый; "уложенные" во времени - предполагаю, так: time tree concept) На схеме - голубые. В БД могут быть представленны, разумеется, ссылками (путями), а не фактическими файлами.
- единое многомерное дерево критериев (критерии оценки киноизображения/видео), которое может быть представленна (для наглядности связи с таймлинией) в едином измерении; в идеальном случае, каждая нода которого должна потенциально иметь связь с каждым фреймом (кадриком) сиквенции изображений. На схеме - красные. Конкретизация смысловой составляющей критериев: данное дерево критериев является, по сути, онтологией кинематогарфического знака (в его семиотическом представлении), один из трех уровней которого представлен онтологией киноизобразительной формы - доминирующий уровень для данного случая. Поэтому речь идет прежде всего о семантической аннотации киноизображения, а также об анализе синтактики (синтаксиса) кинематогарфического знака, а, в идеале, и прагматики.

Т.е. такая структура БД (упрощенная):
(Левая половина выполнена прямыми связями изображения с критерием, а в левой половине связи представлены отдельными нодами (желтые); Каждая связь (связь-нода))
high resolution
5bd810de94217269953769.png

Возможности минимум:
- добавлять и редактирвоать ноды и связи
- поиск по БД, сколлингом по тайм-линии сиквенции изображений или ее проигрыванием. Т.е. стандартизированный запрос в БД.
- поиск по БД по тегам (конкретные критерии, таймкод)
Возможности доп.:
- Изменения структуры дерева критериев
- Сложные запросы в БД, как это реализовано, например, в neo4j: самые короткий путь, кол-во соседних но и т.д. и т.п.

В первую очередь ищу максимально простое (для НЕ программиста) в реализации решение, опционально с возможностью дальнейшего преобразования в отдельный софт или плагин для NLE (Avid Media Composer, FCPX or Adobe Pemiere Pro, Davinci Resolve) в будущем. Удобство дизайна пока особо не волнует, поэтому для простоты ищу уже готовый софт, на котором я могу это реализовать, т.к. пока нет перспектив создания софта "с нуля".

Из всего что видел, наиболее близкими являются: KeyLines и Gruff, позволяющие скроллить time stamp'ы. Но я совершенно не понимаю как мне "прикрутить" к этим вариантам простенький плеер сиквенций изображений. Хорошим примером синхронизации видео и текста является "Расшифровка видео" на youtube.com. Отчасти реферирую на вопрос: Какой есть простой софт для графовых баз данных?

Есть небольшие знания в UE4 blueprints и мизерные Python Cinema4D scripting, первичное знакомство с neo4j.

Благодарю за Ваши советы!

P.S.: Практическая значимость инструмента: анализ кинопроизведений (потенциально любого статического или динамического изображения в контексте киноязыка), а при дополнении функционала - среда разработки (дизайна) проекта "нарративного медиа контента". Помимо описанных базовых задач, есть далеко идущие задумки дополнения такого инструмента: семантическим поиском, сихронизацией со сценарием (типа ScriptSync ), интеграция с БД IMDb и Кинопоиском, интеграцией с 3D приложениями и не только. Пока есть базовые потребности по функционалу, над системной разработкой проекта софта работаю. Возможно, найду единомышленников для реализации? Поэтому упоминаю авторов, чьи статьи видел на схожую тему на Хабре: особенно - Александр Алексеев, mclander, @m1rko, OsipovRoman, AllexIn. Готов и буду рад предметно побеседовать на тему. И прошу прощения, если зря потревожил уважаемых авторов.
  • Вопрос задан
  • 143 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы