Какие технологии использовать для частого обновления большого количества строк в БД?

Question

[Cloudo58]

Суть задачи в следующем: необходимо поддерживать в актуальном состоянии базу данных некой группы в соц. сети (посты на стене + комментарии к постам, лайки к комментариям) и строить рейтинг по пользователям, принимающем участие в жизни группы.

Необходимо выдавать место в рейтинге по запросу пользователя, при этом рейтинг должен обновляться, скажем, 1 раз в час.

Какие технологии (БД, механизм синхронизации) для этого лучше использовать?

В качестве БД пробовал postgres, обновление - update таблицы комментариев по cron.
В итоге получается, что нужно после каждого обновления пересчитывать общий рейтинг. Так как таблица комментариев насчитывает более 10 миллионов записей, запрос выполняется около минуты, при том что изменения происходят только в очень маленьком проценте записей.

Сейчас смотрю в сторону mongodb и redis.

Подскажите, пожалуйста, грамотный способ поддержания в актуальном состоянии такой БД.
Хотелось бы, чтобы пользователи не замечали задержек при получении своего места в рейтинге из-за блокировок в момент обновления рейтинга.

Answer 1

[Aleksey Kuzmin]

вариант 1. изменить структур хранения. Рейтинг хранить в другой таблице. Разнести комментарии не несколько шардов.
вариант 2. апдейтить рейтинг конкретного пользователя когда он оставит комментарий, а не всех пользователей подряд.
вариант 3. - вариант 1 + 2 и задания на обновления рейтинга ставить в очередь в том же редисе с замещением старых заданий. Так рейтинг будет обновляться, но не чаще чем раз в 5 мин (например). Если юзер за 5 мин оставить 10 комментариев - рейтинг обновиться только 1 раз. Система будет устойчивее. будут задержки в обновлении рейтинга, но главное все остальное будет работать.

Answer 2

[Алексей Черемисин]

У Вас выбрана плохая схема обновления рейтингов. При такой схеме, чем больше комментариев, тем с каждым разом будет труднее их обновлять, ведь придется каждый раз пробегать все записи.
Зачем пересчитывать рейтинг каждый раз для ВСЕХ записей? Попробуйте сделать рейтинг счетчиками, а уж счетчики пересчитывать в проценты или что там у Вас на лету.
К примеру, изначально:
запись 1 - счетчик 1
запись 2 - счетчик 1
запись 3 - счетчик 1

Далее, на запись 2 было сделано последовательно 10 комментариев (при каждом комментарии обновляем счетчик записи), стало
запись 1 - счетчик 1
запись 2 - счетчик 11
запись 3 - счетчик 1
комментарий 1, для записи 2, счетчик, 1
...
комментарий 10, для записи 2, счетчик, 1

Теперь для составления рейтинга нам достаточно найти только максимум по счетчику, приняв его за 100 процентов, в текущем случае будет 11. И ничего не нужно обновлять по крону, никакого перебора записей нам не нужно.
Например на 5 записей:
запись 1 - счетчик 33
запись 2 - счетчик 78
запись 3 - счетчик 3
запись 4 - счетчик 22
запись 5 - счетчик 15
Максимум у нас MAX = 78, рейтинг считаем по формуле счетчик зиписи * ( 100 / MAX )
Итого при выборе максимума и любой из записей будет
запись 1 - счетчик 33 - рейтинг 42
запись 2 - счетчик 78 - рейтинг 100
запись 3 - счетчик 3 - рейтинг 4
запись 4 - счетчик 22 - рейтинг 28
запись 5 - счетчик 15 - рейтинг 19

Э... Данная схема будет давать не только абсолютный рейтинг, но и относительный по выбору максимума из выборки записей (извиняюсь за тавтологию). Другими словами, если записи сгруппированы как-то по тегам, то поиск максимума по счетчику с выборкой по тегу будет ранжировать записи относительно этой выборки.

PS. Уф, вот запилил-то... Задавайте вопросы.

Comments

[Cloudo58]

Спасибо за развернутый ответ!

Я, видимо, не совсем корректно описал, какой рейтинг мне нужен. Рейтинг не записей на стене, а рейтинг "активности пользователя".
Формат комментария таков:
userid (id пользователя, оставившего комментарий), postid (id записи на стене группы), commentid (id комментария к записи), likes_count (кол-во лайков за комментарий).

Нужно получить для конкретного userid количество его комментариев в группе и лайков за все его комментарии (за сегодняшние комментарии, комментарии за неделю... ) + место в рейтинге по обоим критериям.

Например, я сейчас 100ый в рейтинге по лайкам, у меня их 10000. А у 99-го 11000 лайков. Я пишу еще один комментарий и он получает 2000 лайков -> я должен стать 99ым в рейтинге и т.д.

Но такие перестановки в рейтингах могут быть кардинальными (скажем если считать рейтинг в сутки, в неделю и т.д.)

Как лучше это организовать...

[Алексей Черемисин]

В Вашем случае легче применить сортировку, сортировать пользователей по количеству лайков и дате. Типа select * from table users where date between 12/08/2014 and 13/09/2014 order by likes_count desc limit 100
Выдаст последние 100 записей с наибольшими лайками, отсортированные с большего к меньшему.

[Алексей Черемисин]

Да, только не забыть индексы построить.. А вообще-то рейтинг вычислить можно и по другому, математически, пойду освежу знания, и напишу через часик как правильно...