Где и как хранить сообщения чата?

Question

[vhjrtyo]

Стоит задача написать телеграм бота который модерирует телеграм чаты. Бот должен считать сообщения каждого пользователя и "на лету" выводить статистику сообщений в чате.
Думал хранить все сообщения в таблице postgresql, но адекватен ли будет этот подход, когда сообщений будет очень много?

Comments

[Everything_is_bad]

когда сообщений будет очень много?

много это сколько?

[vhjrtyo]

Everything_is_bad, 50млн, к примеру

[Everything_is_bad]

vhjrtyo, не сильно много, как доживешь до таких чисел, может и про partitions узнаешь

[Василий Банников]

vhjrtyo, а в чём именно у вас проблема? Ну хранится 50млн сообщений и что?

Answer 1

[YepBro]

Если бот будет не только считать статистику, но и модерировать, то хранить сообщения нужно. Его постоянно придется дообучать, вводить новые правила модерации. Истории сообщений очень поможет это новое тестировать.

Советую использовать ту базу с которой больше работал. Postgresql - подойдет. Отдельно таблица сообщений, отдельно таблица агрегированных счетчиков что бы каждый раз тебе не делать тяжелые агрегирующие запросы к базе с count. Максимум у тебя должно быть что-то суммирующее. По дням/чатам/пользователям внутри чата.

Если прочувствуешь, что упираешь в какой-либо потолок, то только тогда стоит задуматься о миграции на что-то более узкоспециализированное.

Comments

[vhjrtyo]

спасибо

[Everything_is_bad]

модерировать, то хранить сообщения нужно.

спорное утверждение, но тут больше проблема в отсутствии нормального описание, что именно нужно делать боту, так-то модерировать можно и без хранение всех сообщений

[YepBro]

Everything_is_bad, я же уточнил, что эти сообщение потребуются для дообучения бота, а не непосредственно для модерирования. Плюс для разбора кейсов когда блокировка сообщений была ошибочной.

[Everything_is_bad]

YepBro,

дообучения бота

если там вообще будет обучение)) а не просто модерация на уровни проверки на вхождения и т.п, я же уже уточнил, проблема в нормальной постановки задачи

[YepBro]

Добавление новых правил - это ведь тоже дообучение :) самое простое.

P.S. Тут ты прав. Здесь по огромному кол-ву вопросов надо начинать с того, что разбираться в постановке задачи :)

Answer 2

[Everything_is_bad]

В задачи нет ничего про то что надо как-то эти сообщения в последствии обрабатывать, поэтому достаточно хранить просто счетчики сообщений.

Comments

[vhjrtyo]

а если мне нужно будет выводить статистику сообщений за день/неделю/месяц конкретного пользователя или конкретного чата?

[Everything_is_bad]

vhjrtyo, храни счетчики по дням, потом агрегируй. У тебя как с проектированием БД, задача-то простая?

Answer 3

[ky0]

Не уверен, что для этой задачи РСУБД - подходящий инструмент. Я бы хранил счётчики в чём-нибудь типа битфилда Redis, а в Постгрес, если нужна какая-то статистика, складывал данные периодически.