Но я пробую делать сборку с минимальным конфигом вебпака
И в чем смысл? Просто ограничиваете себе функционал, вес приложения не зависит ведь от количество webpack плагинов, поэтому это бессмысленно.
и он транспилирует код es6 вроде без всякого бабеля.
Он ничего не траспилирует, а просто собирает модули, babel нужен для транспиляции es6, 7, 8 -> es5 например, это зависит от настроек. То есть код написанный на ES6, частично не будет работать в IE11, но если прогнать его через Babel, то этот код будет работать везде (опять же, зависит от указанных вами настроек).