Если у вас именно фильтры / поиск / аггрегация товаров жрут много времени (в том числе аякс-запросы, в виджетах и тд) - смотрите в сторону Elastic Search. WP_Query и его расширенная версия от WooCommerce не особо предназначены для такого объема данных. Будут ли они работать? О да, если железо с большим запасом. Но лучше перенести это все на Elastic Search, и сервер сильно выдохнет.
Впрочем, по скринам у вас бекенд в принципе шустрый. Вопрос скорее во фронте. И вот тут надо смотреть, что именно его так насилует. Предположение
Дмитрий по поводу тяжелой темы скорее всего верное. Попробуйте http/2, должно облегчить (а по хорошему это уже должно быть стандартом). Темку надо тестить и искать узкие места. Явно тонны javascript. Если много аякс-запросов шлет тема, смотрите можно ли запрашиваемые данные отдавать без ajax или хотя бы сделать fragment caching для этих данных и возвращать из сразу сгенерированными в конечный результат из памяти. В общем, в таких случаях надо дебажить на всех уровнях, искать узкие места и устранять их на корню.