Разобрался! Оказывается для каждой конкретной рубрики (если хотите выводить её отдельно) нужно создавать отдельный шаблон архива, где и указывается конкретная рубрика, к которой этот архив привязать.
UPD: Поправочка - Рубрики прописываются с помощью Query, однако работает он только с Постами, а не Архивами.
UPD: Поправочка - Рубрики прописываются с помощью Query, однако работает он только с Постами, а не Архивами.