Все-таки проблема заключалась не в Less, а во мне, а вернее в том, что я обрабатывал скопом все Less-файлы, вместо того, чтобы делать это только для изменившихся.
Для решения проблемы были использованы Gulp-плагины gulp-cached и gulp-remember, как применять
можно глянуть тут или в репозиториях самих плагинов на гитхабе.
Скорость обработки стилей теперь в районе 170-200 мс, что более чем удовлетворительно.
Что касается libsass, то да, это я тоже попробую, но в другом проекте, спасибо за совет.
