Эта идея называется вейвлет-разложением.
В частности, то что вы описываете, похоже на вейвлеты Хаара.
Вейвлеты используются, например, в jpeg2000 кодеках
Примеры редактирования картинок ("в отдельном слое можно убрать крупные морщины и прыщи, не повредив мелкую текстуру кожи") есть в Wavelet toolbox, Matlab.