Достать данные гироскопа и акселерометра из экшен камеры или видео?

Question

[TheFdu4]

Можно ли как-то из видео mp4(снятого на экшен камеру с гироскопом) или с самой камеры достать данные гироскопа и акселерометра для дальнейшей обработки?
Или возможно как-то подключиться к самому датчику на плате и снимать данные параллельно с помощью ардуино или малинки?
Или легче самому сделать подобие экшен камеры со своими куртизанками? Может камеру и железку под неё
посоветуете?

Upd1:
Нужно камера с хорошим fps (~100) и качеством FullHD или HD и синхронизированные данные с акселерометра и гироскопа, возможно еще что-то понадобится.

Пока видится raspberry + rpi camera v2. Но там не достаточно fps или качества - 720p 60fps. Есть вариант usb камер ( ov4689 или ov2710), но есть сомнения, что usb потянет 1080p 60fps (или 720p 120fps) поток данных.

Upd2:
Да была идея сделать отдельный датчик акселерометра и гироскопа на ардуине, но не знаю как синхронизировать данные видео и датчика(по времени? а время как синхронизировать?).

Comments

[TheFdu4]

Dance Macabre, Свой домашний проект. Нужно камера с хорошим fps (~100) и качеством FullHD или HD и синхронизированные данные с акселерометра и гироскопа, возможно еще что-то понадобится.

Answer 1

[Сергей П]

Мне кажется самым простым будет отдельный компактный автономный гиро-трекер, к которому бы крепилась экшн-камера.
Вроде бы, (могу ошибаться), я не слышал, чтобы какая-то камера умела писать данные акселерометров в поток видео. Вроде технически ничего не мешает писать их, например, в виде отдельной звуковой дорожки. Подключаться к кишкам работающей камеры - тоже видится мне дохлым номером и, даже в случае успешности, не масштабируемым решением.

Вопрос форм-фактора открытый, но идея гиротрекера - очень годная идея.
Сейчас практически все камеры на борту имеют Wifi. Можно попробовать сделать гиротрекер на базе белкой ESP8266 с wifi. Синхронизацию времени с камеры можно брать по wifi. Даже подкидывать на флешку камеры файлы с гиро-треками можно, если API позволит.

Comments

[TheFdu4]

Да, тоже была идея сделать отдельный трекер. Но не знал, что можно синхронизировать данные по wifi. Неужели камеры могут передавать по wifi что-то кроме видео файлов? Если можно пару ссылок на такую возможность? Быстрый гуглеж, к сожалению, ничего не дал.

[Сергей П]

TheFdu4,

Неужели камеры могут передавать по wifi что-то кроме видео файлов?

я тоже не погружался в вопрос, но где-то слышалч что камера поднимает ftp для работы с ее файлами, а это значит не исключено, что получится подкинуть ей файлы с гиро-треками. Чисто чтобы лежали рядом с видео и назывались соответствующее, и не приходилось чтобы как-то отдельно снимать данные с трекера, сводить, нарезать...
Вторая проблема, которую можно попробовать как-то решать через вайфай камеры - это синхронизация времени.
Если забирание данны-это не такая уж и проблема (всё равно треки придётся как-то обрабатывать утилитами, можно предусмотреть и пайп-лайн для вытаскивания их с девайса), то синхронизация времени - это, прям, проблема. Не уверен что ее вообще можно как-то решить штатно. Это нужно надеяться, что камера через веб-интерфейс отдаёт какие-то временнЫе метки, что рендер ее выхлопа имеет предсказуемые тайминги...

Проще для синхронизации времени, наверно, предусмотреть в трекере какую-нибудь пьезо-пищалку, которая будет работать как хлопушка в кинематографе. Схема такая: включаем на камере видео-запись, жмём спец-кнопку на трекере, трекер делает серию резких щелчков пьезо-элементом и записывает точное время щелчков по своим внутренним часам. Эти щелчки записываются штатным микрофоном камеры в звуковую дорожку видео-файла. Этот короткий видеофайл будет калибровочным. Такую калибровку можно делать не часто, если в трекере и камере часы не сбрасываются при выключении и имеют хорошую точность.
После скачивания данных с трекера и с камеры, специальная утилита находит калибровочные ролики и спец-файлы стрекера, сопоставляет их по таймингам и сериям интервалов, вычисляет постоянную поправку времени трекера относительно времени камеры по дате/времени начала ролика. С такой поправкой можно нарезать и привязывать треки к роликам.

Звучит громоздко, но это может оказаться приемлемым и технически достаточно простым масштабируемым компромиссом.

Со времением, я думаю, все устройства научатся писать данные гироскопов и акселерометров в видео-поток и EXIF фотографий. Слишком много пользы из этого можно извлечь.

[Сергей П]

sashabeep, я не имел в виду запись через микрофонный или линейный вход. Мне кажется это плозая идея, поскольку трекер даёт инфу по нескольктим каналам: 3 оси акселерометра, 3 оси гироскопа, 3 оси компаса... дофига данных с приличным рейтом. А чтобы упихать это в звуковую дорожку, нужно закодировать, в какой-то тональный код, потом распаковывать это и бояться, что кодек камеры пожмёт лишнее... не. плохая идея.

Я имел в виду другое. Современные кодеки умеют писать помимо видео-потока и аудио-потока произвольные фреймы данных в цифре. Я расчитывал именно на это. Но тут нужно лезть глубоко в нетривиальную часть прошивки камеры. Зато, если у камеры есть штатный гироскоп и акселерометр, а на борту крутится что-то типа линукса, можно, наверно, решить всю задачу полностью программно собрав кастомную прошивку.

ХЗ. Я тут дилетант. Просто размышляю вслух.

[Сергей П]

sashabeep, На счет отдельного сохранения - согласен. Самый простой вариант. Синхронизировать время можно простым щелчком ногтем по корпусу при включенной записи. Удар отразится и на акселероматрах и на звуковой дорожке камеры.

[Ziggy Pop]

>Вроде бы, (могу ошибаться), я не слышал, чтобы какая-то камера умела писать данные акселерометров в поток видео.

GoPro 6, 7, 8 пишут. Софтинка Realstady Go именно на метаданных видео о состоянии гироскопа умеет очень приятно выравнивать видео.

Answer 2

[LiteWeb]

Добрый день!
Если актуально - есть open-source программа для стабилизации видео - GyroFlow, весь исходный код опубликован на GitHub
Вот статья-описание программы https://djilab.ru/gyroflow-rc2/
Для некоторых камер данные пишутся в файл видео. В коде программы есть получение этих данных.