Как решить задачу распознавания типа застройки по спутниковому снимку?

Question

[Александр]

Хочу взять для университетской работу задачу распознавания типа застройки по спутниковому снимку. Желательно не просто делить изображение на тайлы и классифицировать (хотя это и можно взять в качестве программы-минимум), а распознавать и размечать типы застройки по их границам.

Для понимания привожу пример практически аналогичного проекта

Опыт работы с нейросетями у меня довольно скромный, а именно пройденный курс по нейронкам на степике с кучей теории небольшим количеством практики с tensorflow. Поэтому мне нужна помощь с тем, чтобы выбрать:

1. Инструменты, которые я могу использовать для решения такой задачи

2. С какой стороны подойти к ее решению, и как в общих чертах выглядит алгоритм

Также было бы интересно услышать мнение о трудоемкости такого проекта. У меня конечно есть несколько месяцев в запасе, но садиться за объективно слишком тяжелую задачу в моем положении было бы глупо

Comments

[freeExec]

На кагле было десяток подобных соревнований. Но уровня "небольшим количеством практики" может быть не достаточно. Хотя тут большая проблема будет в наборе данных для обучения.

Answer 1

[GrKon]

Распознавание секторами или тайлами - думаю разные задачи. Определись сразу.
Для секторов:
Если нет размеченного датасета:
1. Накачай спут.снимки городов.
2. Разметь вручную (можно в фотошоп - слоями по типам застройки) или поищи приблуду для разметки сегментирования - видел в DeepFaceLab
3. Аугментируй - в твоем случае это в основном повороты, можно немного масштаб, гамма и шум - процентов на 10-20. Напиши программу для аугментации раз в 10.
4. В результате надо получить набор данных
200-500 - можно получить хоть какой-то положит результат.
2000-5000 - можно показать как результат решения уч.задачи. (аналог тому, что в статье).
20000-50000 - можно надеяться на пром.результат.
5. Обучи u-net сетку.
6. 100-500 раз обучи сетку меняя параметры сети (в т.ч. всякие дропауты и бэтч нормализации) и гиперпараметры. (наверно лучше это делать на маленьком наборе а затем дошлифовать на большом наборе.
7. контроллируй переобучение.
8.используй Chat GPT как советника.

По трудозатратам - думаю займет полных дней 10 на средний результат.

Comments

[Александр]

Спасибо. Мне посоветовали использовать yolo чтобы не изобретать велосипед с нуля. Нормальный выбор? Попробую для начала воспроизвести этот алгоритм с использованием pretrained модельки