vorobey33rus

Решение есть!
Добавляем в нпм или ярн:

yarn add html-webpack-plugin@4.0.0-beta.4
yarn add html-webpack-inline-source-plugin@1.0.0-beta.2

Идем в config/webpack.config.js (предварительно придется сделать eject, это не больно):

const HtmlWebpackPlugin = require('html-webpack-plugin');
const HtmlWebpackInlineSourcePlugin = require('html-webpack-inline-source-plugin');   <--- добавить
...
plugins: [
  new HtmlWebpackPlugin(
    Object.assign(
      ...
      isEnvProduction
        ? {
            inlineSource: '.(js|css)$',    <-- добавить
            minify: {
              ...
  ),
  ...
  isEnvProduction &&
    shouldInlineRuntimeChunk &&
    new HtmlWebpackInlineSourcePlugin(HtmlWebpackPlugin),          <--- добавить
    new InlineChunkHtmlPlugin(HtmlWebpackPlugin, [/runtime~.+[.]js/]),
    ...

Собираем, папка с файлами останется в том же виде, index.html же будет содержать все, что было в сборке. Он даже может запускаться локально, но учтите, что есть вероятность неполадок с роутингом. Но это не точно.