Не очень понятен смысл твоей экономии. Что ты хочешь выторговать?
Скорее всего цвет страдает при использовании цветовой модели Y(Cb)(Cr). В этом режиме
отдельно кодируется черно-белая яркость одним каналом. И еще двумя другими каналами
кодируются цветовые разности. На них идет жосткая экономия. Прореживают и по разрешающей
способности (chroma subsampling) и еще возможно по квантизации. Короче экономят на красках.
Это не ново. Это цветовая психо-физиология. Подтверждено экспериментами на людях. Об
этом знали еще в 20м веке когда строили телевизионные системы типа PAL/Secam.
Поскольку ты балуешся, выкручивая регуляторы сжатия в крайнее положение - то кодек первым
делом сжимает больше всего эти цвето-разностные составляющие. Отсюда и получается такая квантизация
цвета.
Я не помню поддерживает ли JPEG RGB модель. Но поищи. И начни искать в фотошопе а не в этой
стрёмной библиотеке PIL. Кстати почитай насколько глубоко она работает с JPEG. Использует
ли она сишный libJPEG или у нее самопальный алгоритм. По идее в RGB модели должно
быть более равномерные потери для цвета и яркости. Но результат будет не лучше.
Еще посмотри в направление форматов webp. Если ты такой жадный дизайнер - то там будут
улучшеные алгоритмы кодирования-декодирования основанные прогнозе следующего цветового
фрейма.
Посмотри в JPEG2000 который умер так и не родившись. Но возможно там будут идеи которые тебе будут
интересны.