Какие методы использовать для распознавания включенного света в доме напротив на смартфоне андроид?

Question

[eegmak]

Камера для анализа изображения только на смартфоне, поэтому хотелось использовать аппаратные средства смартфона а не передавать изображение на пк В объектив камеры видно многоэтажный дом (частично с веточками деревьев) Хотелось преобразовать состояние многоквартирного дома в двумерный массив с двумя состояниями "включен свет" и "выключен свет"
Рассматриваю как вариант, в котором вручную размечаю области каждого окна и считаю средний цвет каждой области а также вариант посложнее, где не будет требоваться долгая подстройка камеры и совпадения областей
Насколько эта задача вычислительно-сложная для бюджетного смартфона и требует ли она использования видеоускорителя смартфона?
Что вы можете посоветовать для решения данной задачи?

Answer 1

[d'Ivan]

Для решения задачи советую прочитать литературу по цифровой обработке изображений. В ней описываются различные методы.
Тег МАШИННОЕ ОБУЧЕНИЕ не имеет отношения к решению вышеупомянутой задачи.
Определить где горит свет:
Скадрировать изображение до контуров дома.
Уменьшить резолюцию изображения до приемлемой, но не чрезмерно, чтобы не принять за шум. Так сокращается вычислительная работа.
Возможно, выровнять освещение.
Применить фильтр Гаусса или медианный.
Превратить в ч/б изображение с некоторым порогом - получим белые пятна почти прямоугольной формы на черном фоне.
Далее, object detection - для определения координат объектов.
А все остальное - это работа с массивом координат.
В магазине приложений для Android есть полно приложений для сканирования и обработки изображений, в том числе и для распознавания текста. Значит, вычислительно работа посильна и нечего беспокоиться.

Comments

[eegmak]

Тег машинное обучение заменил на "нейронные сети"
Благодарю за ключевые точки
Данные операции на андроиде производятся на каждое фото,которое записывается во флешпамять - правильно? Какой период между фотографиями потребуется на ваш взгляд, чтобы успевать данные операции на смартфоне не дороже 15к?

[d'Ivan]

eegmak,
Не знаток Андроида, но, по-моему, для захвата изображения не требуется сохранять на флэш-памяти.

Какой период между фотографиями потребуется на ваш взгляд, чтобы успевать данные операции на смартфоне не дороже 15к?

не понял мысли.

[eegmak]

Роман Мирр, допустим в спецификации к камере смартфона написано что разрешение 8000 на 4000 это 32миллиона пикселей по 3 байта цвета эти данные нужно сократить так чтобы было меньше шума и остались четкие границы горящих окон и желательно в ч/б чтобы каждый пиксель занимал к примеру 8 бит, Возможно я не понимаю где (в флешпамяти или не во флешпамяти, возможно сама камера уже может выдать сглаженное изображение которое мне нужно) Где-то появляется сперва массив полноцветной "большой" фотографии из которого с помощью фильтра гаусса и других методов мы получаем маленький массив с чернобелой фото, Мысль в том, если анализировать не одну фотографию, а анализировать динамику (кто то включил свет, кто то выключил) какое количество кадров в секунду теоретически можно обрабатывать только до состояния ч-б сжатой фото без object detection

[d'Ivan]

eegmak, скорость обработки зависит от многих параметров. Как у фильтров и их количества, так и изображений и процессора на мобильном аппарате.
Лучше поэкспериментировать над тестовым изображением на компьютере, а затем экспериментальным путем определить скорость обработки.