Как правильно создать архитектуру приложения?

Question

[DoggieMurr]

Всем привет!
Есть сайты по продажам автомобилей их 4
Идея такая чтобы на моем сайте при выборе марки авто, к примеру бмв, из этих 4 сайтов забирались данные об бмв
Не совсем ясно каким именно образом это должно происходить:
1) просто кидать запрос на эти сайты и отдавать пользователю отредактированные ответ, но это будет долго и не понятно как сделать сортировку и фильтры ответа
2) парсить эти сайты и сохранять в бд, хочу монгу, так как данные на сайтах не консистентны, но не понимаю парсить надо все марки или только выбранную, и когда парсить, думаю через селери, к примеру каждые 24 часа
В общем что думаете, возможно есть еще какие-нибудь способы реализации данной задумки
Спасибо)

Answer 1

[d'Ivan]

Чтобы веб-сайт работал независимо от своего источника данных, нужно построить систему периодического обновления данных (скрейпинг, REST API или как угодно), занося данные в СУБД или сначала в очередь.

но не понимаю парсить надо все марки или только выбранную

все, чьи данные будут фигурировать на сайте.

Далее, имея данные у себя, можно подумать о реализации запросов для фильтров из клиента и подобрать СУБД для этих целей.