Медленно, потому что идет перебор по всем строкам в таблице wp_postmeta, в которой отсутствуют индексы. И если у вас постов 5-6 тыщ, то postmeta у вас будет в разы больше. Но все равно такая скорость - это слишком долго. Видимо, беда все-таки и в сервере. Упомянутый где-то в комментах Sphynx решает задачу со сложными запросами по метаданным.