Виталий: Очевидно да, ахинея.
Но сценарий такой: читаем список файлов в папке и добавляем в config.plugins HtmlWebpackPlugin для обработки каждого файла. Соответственно если делать просто module.exports, то в config.plugins ничего не добавится.
Тут вообще можно было и не делать промис, а просто в fs.readdir добавлять нужное в конфиг. Но ситуации это не меняет.