Это теоретически возможно но совершенно не нужно.
Во первых, в react не используется HTML, и если вы будете писать именно HTML - он просто не подойдет. Вам придется писать тот же JSX просто в отдельном файле которому вы почему-то дадите расширение html.
Подумайте какую проблему вы этим пытаетесь решить и проблема ли это?
Если вам не нравится идея смешения кода и разметки - посмотрите на vue например, там шаблон отдельно и "как бы html".