Апдейт - долго копался во всем этом - выяснилось что функцию get_the_terms() вызывает WooCommerce - на закоулках гитхаба нашел такое решение
https://github.com/vendidero/woocommerce-germanize... - использование wp_get_post_terms вместо get_the_terms() - первая уже использует кэширование, а Woo как оказалось при большом количестве таксономий (еще и с иерархией) начинает тормозить.
get_the_terms() - это хук, планирую повесить на него, но пока не совсем понимаю как оно должно выглядеть - если у кого есть идеи, велкам