Если просто выбирать все селекторы, то ничего страшного.
Но, по скольку браузеры читают селекторы справа налево, то всё-таки стоит избегать конструкций со вложенной звёздочкой, на пример
div > *
В таком случае браузер проверяет все элементы на вложенность в div.
Но как сказали другие пользователи - тормозить не должно и при таком подходе.
Ну и что бы полностью разобраться в вопросе советую вам к прочтению небольшую статью
frontender.info/writing-efficient-css-selectors