У HtmlWebpackPlugin есть свой шаблонизатор внутри. Вот так он вставляет все чанки, которые у него есть.
<% for (var chunk in htmlWebpackPlugin.files.chunks) { %>
<script src="<%= htmlWebpackPlugin.files.chunks[chunk].entry %>"></script>
<% } %>
Вот тут примеры шаблонов
https://github.com/jaketrent/html-webpack-template...
Вот тут дока по плагину
https://github.com/jantimon/html-webpack-plugin
Может поможет)