обязательно ли отдавать JSON и ответы сервера 200, 204, 404
Полиция REST вас не арестует, конечно. Но это общепринятые соглашения. Потому что...
будет ли это считаться REST Api
...скорее всего - нет. Потому что вы будете отдавать данные, смешанные с представлением. И чтобы, получив список сущностей, фронтенд мог запросить по одной из них детальную информацию, ему нужно будет сначала из вёрстки выковырять её идентификатор.
REST позволяет серверу отвечать только за данные, а представлением этих данных занимается какая-то другая программа. И поэтому данные отдаются в удобном для работы виде и с понятными кодами ответа, чтобы клиентское приложение могло какую-то логику исходя из этого исполнять.