Запускать нужно в веб сервере с соответствующими настройками.
Когда вы разрабатывали приложение и запускали локальный сервер, который брал всё на себя.
А так, допустим вы используете Apache там свои настройки, Nginx свои. Во множестве облачных сервисах нередко всё оптимизировано и почти ничего делать не нужно. Для условного Github Pages нужны свои небольшие манипуляции.
Поэтому.
1. Определитесь с веб сервером/площадкой где вы будете размещать проект
2. Гуглите "Сервер/площадка react router settings" "Сервер/площадка react router deploymnet" и тп.
Для локального у вас на компьютере нужно скачать какой-нибудь веб сервер(условный wamp или альтернативы), создать сайт там и тестировать.