Если кто-то столкнулся c подобным поведением, то я нашел причину.
Дело не в webpack и не его настройках. Дело было в редакторе phpstorm
Пока еще не определил что в нем надо настроить, но если редактировать файлы через notepad++ то изменения подхватываются сразу же
UPD
Собственно вот решение
ctrl+alt+s