Попробуйте сборку с ожиданием изменений файлов:
ng build -w
Или
ng serve -w
После базовой сборки, процесс висит открытым и ждёт изменений в файлах проекта. Если он обнаружит малейшие изменения, он тут же, автоматически, соберёт только внесённые изменения, что гораздо быстрее, чем каждый раз собирать весь проект по новой при помощи ng build. Но бывают ситуации, когда и сборка с ожиданием (-w) собирается долго. Это касается правок, которые затрагивают подключение/отключение/изменение модулей.