В данный момент нашел только 1 решение, сделать массив конфигураций вебпака, которая генирируется через map
module.exports = ["default", "second"].map(entryName => {
return {
...
{loader: "template-loader", options: {entry: entryName}}
...
}
});
А в лаудере template-loader просто подменять шаблоны на нужные, если они существуют, иначе использовать default