Как лучше производить обработку сырых данных?

Question

[Light Air]

Имеется сервер на который поступают "сырые" данные, много "сырых" данных, они тут же частично обрабатываются, в общем back. И второй сервер под front. Необходимо обработать эти данные и отдать пользователю. По какой схеме это лучше реализовать?

Есть мысль настроить master<->master репликацию и на фронте готовить отчёты. По крону? Триггеры? На сколько это будет корректно?

Comments

[Макс]

если источник данных - бэк, то зачем мастер-мастер? по логике бэк получает, обрабатывает - и уже обработанное отдает фронту. Фронт делает на основании этих данных отчеты.

[Light Air]

Макс: master-master так как исходные данные могут быть исправлены на фронте. А сразу, полностью подготовить на бэке все данные не получается, они могут динамически меняться, да и видов отчёта достаточно много, не хотелось бы сильно перегружать бэк. Можно конечно использовать отдельный сервер, или несколько, для масштабирования, но пока данных не так уж и много. Как думаете, корректно ли обрабатывать эти данные по крону, или может есть более рациональные решения?

[Макс]

Light Air: ну и исправляйте на фронте. если бэк будет только осуществлять первичную обработку и сразу отдавать фронту, и вся работа с данными будет происходить только на фронте - зачем Вам возвращать их на бэк?

[Light Air]

Макс: данные разные и тесно между собой, грубо говоря бэку важно знать об изменении данных, что бы проанализировав поведение пользователя корректировать сбор данных. Ваш вариант тоже стоит мне обдумать, может что получится.

Answer 1

[d'Ivan]

В целом, для обслуживания отложенных запросов вместо cron нужно использовать сервер очередей.
Советую просмотреть слайды Как Badoo модерирует 1 миллиард фотографий в год

Answer 2

[Виктор]

Во многом зависит от формата данных и значения слова "сырых".

Comments

[Light Air]

Формат буквенночисловой (если я правильно понял). Сырые - значит не агрегированные, разрозненные.

[Виктор]

Light Air: Тогда надо садиться, разбираться, классифицировать, выявлять какие-то закономерности и программировать.