В общем, автогенерируемые ссылки я так и не понял можно ли делать (ну например которые используются для картинок или других ресурсов, путь до которых вебпак сам редачит)
Но я просто дописал в имени итогового файла название папки, и он корректно создал папку и поместил в него .html файл
new HTMLWebpackPlugin({
filename: 'UI-kit/ui-kit.html',
template: './pages/UI-kit/ui-kit.pug'
}),
