1) Ни разу не использовал FileBasedCache, но почти уверен, что его стоит выбросить. Кэш должен быть быстрым, а не чуть быстрее базы (к тому же, конкурировать с базой). Поставь memcached (или Redis)
2) Поставь nginx вместо апача
3) Ты статику раздаёшь апачем?
4)
Использую WSGI
это здорово, но очевидно. Что ты используешь в качестве веб-сервера? uWSGI или Gunicorn?
Мой блог висит на Raspberry Pi первой версии (а это 700 MHz и одно ядро) и выдерживает до 25 запросов в секунду. Я уж не говорю про DO (самый первый тариф за 5 баксов с одним ядром), где ab выдаёт ~140-170 запросов в секунду на более-менее статичных сайтах.