По вертикали никак не получится одним лишь CSS, он не позволяет внутри селектора перескакивать на другую ветку dom-дерева, а именно это и подразумевается в данной задаче. Собственно, вы итак используете JS для удаления строк/столбцов, лишний блок кода вам жизнь не испортит.