Есть решения?
50 милисекунд это не так уж много. Средний человек реагирует на событие после примерно 200 милисекунд. Так что либо вы привели не верные цифры, либо не знаю.
В целом вам нужно почитать в wiki галпа (или в его README) про инкрементную сборку и решения вроде gulp-cache и gulp-newer. Либо хранить все файлы в памяти и уменьшить количество чтений с диска, либо компилировать только измененные файлы. Ну и неплохо совместить эти два подхода).