1. Можно этого добиться при помощи css.
или
2. Можно поставить плагин
WC Ajax Product Filter . Насколько помню в нем будут отображаться только те атрибуты, которые есть в товарах в текущей категории.
или
3. Если категорий не слишком много, можно сделать для каждой категории сайдбар, и через условие выводить нужный сайдбар.