Попытайтесь объединить контуры: просмотрите крайние точки контуров и найдите близкие, а затем, выстроив замкнутую цепочку связанных контуров, получите один — полный.
Представьте себе сине-зеленые полосы. Как вы будете интерполировать красный, пользуясь интенсивностями в других цветах, если красного там вообще нет?
Лучше уж сразу преобразуйте картинку в RGB, как это делает фотоаппарат.