Как с помощью нейросети, убирать облака с изображения?

Question

[Олег]

Как с помощью нейросети, убирать облака с изображения?
Дали задачу, сделать такое приложение которое убирает облака с изображений, например снимки со спутников и аэроснимки, в коде разобраться смогу, но как решить задачу, в голову не приходит. Сразу приходит на ум много вопросов, например:

• Как редактировать фото
  
• Как распознать облака
  
• Как заменить облака на местность под ними
  
• Что если облака слишком плотные
  

Объясните принцип работы пожалуйста

P.S. Для обучения я смогу найти 10к разных фото одной и той же местности

Answer 1

[dmshar]

А у вас есть тысяч десять ПАР картинок одной и той-же местности с облаками и без, что-бы на них обучить свою нейросеть?

Если есть - далее все тривиально - нейросеть типа автоенкодер-декодер. На вход картинку с облаком, на выходе сравниваем с той-же местностью без облаков. Сеть обучается на вашей десятке тысяч пар.
На обученную таким образом сетку подаем новые картинки и надеемся, что она сумеет с ними справиться.

Если такого набора нет - тогда начинаем с того, что читаем книжки и разбираемся как вообще нейросети работают.

P.S. Не надо 10 тыс фото "одной и той-же местности". Надо 10 тыс ПАР, каждая пара представляет свою местность, но в паре - одна фото с облаками, а другая - без. Все-таки советую для лучшего понимая начать с изучения принципов работы нейросети.
Но если такой датасет пар есть - сеть автоенкодер-автодекодер должна вам помочь.

P.P.S. Подумав - еще одно дополнение. Лучше, конечно, не пары фото, а для КАЖДОЙ местности - одно фото без облаков и несколько фото с разными облаками.
И еще - фото одной и той-же местности, сделанной с большим временным интервалом (два-три месяца) использоваться не могут. Времена года, изменения застроек и пр, сильно зашумлят результат.

Comments

[Арсений Кравченко]

Боюсь, ваши представления слегка устарели. Уже 3+ года существуют подход к unpaired image to image translation (например, CycleGAN).

[Олег]

Спасибо за помощь, теперь я имею какое то представление о том что делать с нейросетью

[dmshar]

Арсений Кравченко, Спасибо. Я напрямую картинками не занимаюсь. Будет интересно почитать на досуге. Но думаю, ТС - да и как обычно - лучше начинать изучение "от печки", а не сразу скакать на супермодерные методы. Это - если изучать по настоящему, конечно, а не просто нахвататься.