Почитайте подробнее доку, вот по теме:
https://webpack.js.org/loaders/file-loader/
После описания апи, внизу есть примеры разного использования. Не обязательно через js вставлять, вы в настройках вебпака указываете откуда и куда копировать картинку, в html вписываете текущий урл, при сборке пути заменяются на необходимые.
Вот еще неплохой ресурс по вебпак:
https://survivejs.com/webpack/foreword/
Покрывает очень многие вопросы в достаточно сжатой форме, возможно знакомство будет удобнее как раз по этому ресурсу, чем по офф доке.