sim3x: это удобно если нагрузка небольшая или мало изображений, а при хорошией нагрузке и большом количестве фоток придется не один сервак под это дело выделять.
Александр П.: 1) у меня есть страницы которые нельзя кешировать. 2) Теги для кеша использовал, в этом случаее джанговский шаблон начинает догонять Jijna2, без кеша. А если в Jinja2 еще и кеш включить, то я даже представить боюсь на сколько джанговские шаблоны будут далеко позади.
Сравнений всяких полно, но на момем проекте реально тормозит шаблонизация, больше тормозить уже нечему. Я одну страничку для теста переписал на Jinja2, было ~100 rps, стало ~300 rps.
Она решает несколько другую задачу, она обрезает загруженное изображение под указанный размер. А мне надо, чтобы для одного изображения создавалось несколько тумбнейлов.
Спасибо, за то что поделился опытом. По поводу thumbor я использую похожую штуку https://github.com/agschwender/pilbox Она меня полностью устраивает. Единственно сейчас для проекта у хостинга на VDS ограничена пропускная способность до 100мегабит/c, поэтому думал сразу в S3 тумбнейлы хранить.
Ну можно и редис, просто я как помню, у меня на 30 картинок генерировалось 170 SQL запросов, если к редису будет аналогичное количество, то это не подходит.
Для многопоточности бери какой-нибудь python-rq или celery и redis вот и все. Grab это если память не изменяет обертка над requests или urllib + lxml, довольно посредственная. Каких-то сильных преимуществ не дает, а интерфейс довольно ограниченный. Scrapy популярный фреймворк для написания парсеров, но надо было мне парсер написать, я начал читать про этот scrapy там черт ногу сломит, я быстрее парсер на request + lxml написал, чем понял как этот scrapy работает.
Кажется это немного не то, serpy имеет ограниченный набо данных только в одну сторону сериализует. Т.е. это не pickle и модели десериализовать уже не получится. А так я и DRF могу использовать, результат бенчмарка против DRF тут меня не увдовлетворяет, т.к. я профилировал DRF и знаю где он тормозит, он у меня выжимает гораздо больше чем из коробки.
