Какая функция потерь наиболее подходит для колоризации изображения?
Какая функция потерь больше всего подходит для колоризации изображения.
Я пробовал MSE и MAE, как отдельно, так и в паре с SSIM, но результаты оставляют желать лучшего.
При MSE и MAE, сеть пытается раскрасить изображение максимально близко к тому, как оно было в оригинале. Что дает сильное переобучение. Не спасает ни регуляризация, ни дроп.
При использовании совместно с SSIM, тоже не удовлетворительные результаты по той же причине.
На самом деле, ошибка возникает из-за того, что при обесцвечивании изображения, некоторая информация теряется полностью. И здесь не помогает даже предварительная классификация объектов.
Например, не возможно предсказать точный цвет одежды на человеке, цвета цветка, цвет машины. и так далее.
Например читать, научные статьи прям на эту тему. https://arxiv.org/abs/2204.02980v3
справа в верхнем, доступные форматы документа. Если с английским тяжело, дай условному чату GPT подходящую часть. Пусть переведет.
Простой
Простой
Средний
