Скорее всего проблема идет из-за того, что у тебя при изменении одного файла происходит полная сборка всех остальных файлов, хотя они не менялись, это занимает гораздо больше времени и растет по мере увеличения количества файлов в проекте.
В свое время я попробовал разные решения данной проблемы, и самым удачным оказался
gulp-cached. Легко подключается, подходит для любых тасков в гальпе, а главное реально работает (в отличии от множества других подобных)!
Если что можешь посмотреть на
мой стартер-пак гальпа, там все есть. Есть еще
лайт версия этого стартер-пака, она несколько урезана, возможно будет проще разобраться, этот плагин там тоже имеется.