У WP конечно есть проблемы с производительностью, но легко решаются при помощи Nginx + fastcgi_cache. Вся динамика выносится на JS.
Чем выше трафик, тем узкоспециализированней инструмент нужен, я бы перенес все на микрофреймворк, если уж так хочется уйти куда-то.
P.S. 18 тысяч постов и 350 мб база, это не много. Может стоит попробовать взять производительную VPS?