Вроде как только через препроцессор html - pug.
npm i -D pug pug-plain-loader
Инструкция по подключению:
https://www.npmjs.com/package/pug-plain-loader
Документация:
https://pugjs.org/api/getting-started.html
И ещё. ExtractTextPlugin официально не поддерживается с webpack 4. Рекомендуется использовать MiniCssExtractTextPlugin. Он от тех же разработчиков, но без багов и прочего + оф. поддерживается.
