Вручную, либо пишешь скрипт а 10 строк, который пробегается по папкам, собирает файлы и генерирует на их основе точки входа -
https://webpack.js.org/concepts/entry-points/
Потом в HTMLWebpakcPLugin указываешь для файлов список чанков, которые соответствуют нужному entry или предыдущего шага.
В самих файлах, указанных в entry, подрубаешь нужные зависимости.
Таким образом у тебя на каждой странице будут только нужные стили и скрипты.
А если настроишь SplitChunkPlugin, из предыдущего ответа, то получишь более оптимизированные файлы, где общий код будет отдельно, а частный только в нужных файлах.