Полностью согласен с
Buzzzzer !
У самого есть production проект где намного больше чем "30 компонентов разного объема" билдится все довольно шустро, не смотря что у меня Macbook Air. Попробуйте webpack-bundle-analyzer может какие-то аномалии в бандлах. Или сравните ваш конфиг webpack и тот который по-умолчанию в vue-cli.
Знаком со случаем когда люди не вникая в webpack, напутали с настройкой Entry Points, из-за чего бандл, под production ENV внутри докера билбился до 10 минут. Но ничего, не умерли от этого