У вас нет доступа к папке из реакта.
Можете сделать файл json, где прописать имена файлов, а в реакте обращаться к этому файлу, проходить по нему мапом, брать имена файлов и рендерить картинки.
Но тут придется не только файлы в папку закидывать, но и json править. Хотя это, конечно, намного проще, чем каждый раз пересобирать проект реакта и пушить на сервер.