Эта идея называется вейвлет-разложением.
В частности, то что вы описываете, похоже на вейвлеты Хаара.
Вейвлеты используются, например, в jpeg2000 кодеках
Примеры редактирования картинок ("в отдельном слое можно убрать крупные морщины и прыщи, не повредив мелкую текстуру кожи") есть в Wavelet toolbox, Matlab.

Решаете систему:
x^2+y^2=(r1)^2
(x-a)^2+y^2=(r2)^2
Она сведется к квадратному уравнению. Решаете его и берете корень с отрицательным y. Все.

Вопрос из серии: "Сайт отдает картинки в формате jpeg, как получить их в исходном формате .psd со слоями?" Очевидно что никак. Если только исходниками не поделится дизайнер сайта.

if message.text == "тут текст" or message.text =="и тут текст":

или
if message.text in ["тут текст", "и тут текст"]:

Потому что функция без return возвращает None.
И вы это None выводите на печать.