Эти картинки отсутствуют на сервере, потому что никто их туда не кладёт. Сервер(
webpack devserver) работает не от локальной папки, а от структурированного как описано в конфиге результата сборки. Сделайте build и посмотрите в папку dist: именно так и выглядит структура файлов на сервере.
Вы можете положить эту папку с картинками туда использовав
copy-webpack-plugin. Если на сервер эта папка будет класться вручную и в прод. dist она вам не нужна - можете подключать этот плагин только для develpment.
Альтернативно вы можете настроить
devserver (используя
before/
after), чтоб он просто отдавал файлы из этой папки по соответствующему запросу(читая их содержимое вручную средствам
node fs).
Главное не забыть потом положить эту папку на сервер руками.