Первое что приходит в голову — вэйвлет-разложение с использованием подходящего материнского вэйвлета (например, в виде спектра ноты), после чего просто смотреть на коэффициенты.
Судя по википедии, которая ссылается на руководство GIMP
high-pass можно получить если сделать копию слоя, применить размытие по гауссу, инвертировать и затем смешать с исходным слоем с определённой непрозрачностью (например 50%)
Вообще, «качество» можно привязать к сугубо математическим вещам и смотреть на спектр (Фурье или разложение по вэйвлетам), после чего проверять на то насколько «хорошая» картинка (например, если там немного пространственных частот, то это несложная и чёткая геометрия)
