Если можно сделать загрузку страницы быстрее - ее стоит сделать быстрее. Все это напрямую влияет на удобство пользования сайтом, а значит и на лояльность пользователя. Тем более, что минификация практически не требует времени программиста, есть множество автоматизированных инструментов для этого.
Поищите исследования Амазона(вроде бы) на эту тему - они исследовали то, как время загрузки страницы влияет на количество отказов.