вообще да, уменьшит, но от того что они скрыты, они не становятся "совсем бесплатными". При перерисовке они будут обработаны намного быстрее чем видимые элементы, но в памяти они все равно есть, и при обходе скриптами, например, они будут учитываться. И
sim3x правильно написал - при любых тормозах смотрите профайлер.
Совсем круто - проверять еще и на слабом компе. Не у всех посетителей вашего сайта топовое железо, особенно сильно это телефонов касается.