Нужно делать eject, есть такой npm скрипт у реакта, он выплюнет тебе кучу огромных файлов, потом разбираешься как работает webpack, настраиваешь сборку, profit.
Не нужно делать eject, иначе будут проблемы с обновлением react-scripts в дальнейшем. Есть замечательная штука - craco, который как раз позволяет конфигурить CRA без eject, вот там прописать нужные paths в конфиге уже