Медленный на мобильных он скорее всего не из-за ответа сервера, а из-за тяжёлых скриптов или картинок. Надо смотреть детально отчёт гугла.
Тут переезд никак не поможет, что касается скорости ответа сервера, то во-первых как правильно написали выше, для шаред-хостинга весь софт скорее всего уже отлично настроен, а на своём сервере это придётся делать самому, во-вторых тариф понадобится значительно более дорогой.
Иногда при больших БД всё упирается в оперативку, и тут да, даже дешёвая виртуалка, будет сильно быстрее шаред-хостинга, но это вряд ли ваш случай.
Скорее всего проблема в самом шаблоне вордпресса.
И у некоторых хостеров можно включить всякие автоматические ускорялки. Тоже может помочь.
