Так же, как и через генератор списков проверить в списке число определенных элементов, измерив длину отфильтрованного списка
Пустая ячейка в опенпуксель это None
l=[wb['Sheet1']
['B'+str(row)].value for row in range (2, wb['Sheet1'].max_row+1)
if (wb['Sheet1']['B'+str(row)].value)!=None]
len (l)
если нужно перебрать все столбцы, то через цикл, в котором будут изменяться адреса ячеек - A, B, C...
Или сделать генератор вложенного списка по буквам столбцов