Столкнулся с вопросом.. суть следующая. Есть логи пользователей сервиса, которые нужны для дальнейшей обработки (возможно, хранить нужно последние 2-3 месяца), в день набегает примерно 250к записей, в перспективе, может вырости до 20-30 миллионов. Сейчас они хранятся в той же базе, где и данные пользователей, есть некое желание вынести это куда-то. Данные имеют четкую структуру, поэтому у noSQL не вижу плюсов для выбора..
Может кто-то подскажет чего из личного опыта..
P.S.
Транзакции не используются т.к. очень важными их назвать нельзя, больше справочник того, чем пользуются (и сколько) пользователи.
В дальнейшем, скорее всего будем выстраивать прогнозы по этим данным (с помощью машинного обучения)
Спасибо за внимание! Прошу прощения за стиль написания вопроса (раннее утро, засыпаю)
Храни в виде текста
Загружай в субд паком за час / день / неделю
Перед загрузкой нормализуй
Что ты там нашаманишь в итоге - никто не знает
Так что следи за таймингами основных запросов
Ну если основная база от логов сильно распухает и транзакции вам для них особо не нужны - вынесите логи через plproxy в другую базу (на другом диске/сервере - не важно). Храните их в нормализованном виде и анализируйте, будет вам счастье. И основная база будет компактной, и нагрузка на неё будет меньше, и логи хранятся в таком же PostgreSQL (чем меньше зоопарк, тем проще с ним жить)
Средний
Простой
