Нашел ответ на SO:
The most comfortable way to preview HTML files on GitHub is to go to
https://htmlpreview.github.io/ or just prepend it to the original URL, i.e.:
https://htmlpreview.github.io/?https://github.com/bartaz/impress.js/blob/master/index.html
К слову говоря, если ваш react-router-dom ломается в этом сервисе (не переключает страницы и ругается на history state object) - попробуйте использовать
https://reactrouter.com/web/api/HashRouter