MartynovVlad
@MartynovVlad
Руковожу стартапом http://eeuropeancc.com

Как создать ip-камеру на базе стереокамеры, подсоединенной к Jetson Nano?

Есть стереокамера ZED Mini, которая сама по себе является ip-камерой (кадр с левого сенсора присоединяется к кадру с правого сенсора и получается единый кадр двойной ширины). Она подсоединена к Jetson Nano и Jetson Nano с помощью библиотеки ZED SDK считывает кадр за кадром, а также информацию о расстоянии до пикселов. И с помощью шейдера видоизменяет каждый очередной кадр.
Нужно теперь сделать так, чтобы на выходе из Jetson Nano был такой видеопоток, чтобы система ZED Mini + Jetson Nano извне воспринималась как ip-камера, у которой есть URL, с которой можно считывать видео (видоизмененное шейдером), которое снимает ZED Mini.
Замечу, что в Jetson Nano стоит хорошая NVIDIA-видеокарта, в которой аппаратно можно закодировать видеопоток в виде h.264 (можно и в виде h.265, но внешнее устройство, которое будет воспринимать видеопоток, работает на Android, поэтому можно использовать только h.264).
Вопрос: Как найти учебник/тьюториал, чтобы самостоятельно написать программу в Ubuntu, которая породит ip-камеру (на C++ или в крайнем случае на Python)?
Я в этом ничего не понимаю и роюсь уже долгое время в интернете, чтобы найти описания или учебники по теме ПО для самодельных ip-камер... И вообще ничего не нахожу. Информация либо для специалистов, либо на другую тему (например, о нюансах алгоритмов/стандарта h.264). У меня есть примеры программ, написанных с помощью ZED SDK (https://github.com/stereolabs/zed-examples/tree/ma... https://github.com/stereolabs/zed-examples/tree/ma... но я не понимаю, как они работают. В шейдерах тоже долгое время пытаюсь разобраться, но тоже безуспешно. Квантовая механика в свое время мне далась легче:( У меня есть хороший опыт программирования на 1С:Предприятие 8.2, но здесь другая специфика.
Всегда думал, что информацию с помощью гугла найти не сложно. Но по этому вопросу... какой-то заговор молчания. В принципе, некоторые специалисты готовы мне помочь, но мне надо подготовиться к тому, чтобы адекватно воспринимать их советы. Поэтому-то я и ищу учебник/тьюториал.
Jetson Nano у меня на руках, камеру "из-под" Raspberry Pi он успешно отображает на мониторе. Но для стереокамеры и использования шейдеров знаний нужно гораздо больше.
Заранее спасибо всем, кто откликнется! Если стартап запустится (когда устройство "оживет" он обязательно запустится, так как рынок уже протестирован с помощью тестового варианта оборудования), то все помощники уже ко мне смогут обратиться за помощью (надо просто сослаться на эту дискуссию).
PS: Забыл сказать. "Глубинная причина" моего интереса - нехватка денег. Поэтому многое приходится делать своими силами.
  • Вопрос задан
  • 178 просмотров
Решения вопроса 1
A_M
@A_M
Основная специализация - системы видеонаблюдения
Из потока сознания уловил, что вам из потока кадров нужно слепить видеопоток. Если это так посмотрите ffmpeg. Для jetson nano вроде есть. На выход вам можно выводить rtsp-поток.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
MartynovVlad
@MartynovVlad Автор вопроса
Руковожу стартапом http://eeuropeancc.com
Да, абсолютно точно, "из потока кадров нужно слепить видеопоток". Как раз ffmpeg я сейчас и начал смотреть (на jetson nano оно должно встать). Но Ваше уточнение насчет вывода "rtsp-потока" очень важное. Может быть оно и решит задачу. Огромное спасибо! Иду смотреть...
Впрочем, на странице https://github.com/131/h264-live-player насчет нашел утверждение, что "There is no solution for "real time" mp4 video creation / playback (ffmpeg, mp4box.js, mp4parser - boxing takes time)". Выражение "boxing takes time" я перевел как "упаковка (т.е. кодировка) занимает время", то есть, проще говоря, тормозит. Для моего проекта задержка выше 0,3, максимум 0,5 сек нежелательна. Автор этой страницы, чтобы убрать торможение, предлагает свое решение для сиситемы "raspberry pi + камера raspberry pi". С другой стороны jetson nano (в отличии от raspberry pi) аппаратно поддерживает кодировку, что ffmpeg должен (по идее) использовать. И поэтому торможения не должно быть.
С третьей стороны автор этой страницы предлагает свое решение для камеры raspberry pi, которое я тоже постараюсь понять (хотя вряд ли получится).
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы